Views growthHide views growth
Views growth
Hours after publication
Show as table
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 12 h | 734 |
| 39 h | 959 |
- Total to date959
Hours after publication
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 12 h | 734 |
| 39 h | 959 |
Пятничный вайб есть? А если найду? Закидываем своему основному агенту: 1. Промпт 2. Свое фото 3. Референс (скрин с мема). 4. Смеемся 5. Закрываем ноутбук Промпт: Собери контекст из наших тредов по моей работе и измени доску на этом изображении так чтобы там было ввсе в контексте задач и вопросов которые я решал за последнее время. И еще давай аккуратно там мои черты лица сделаем у персонажа.
Open in TelegramHours after publication
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 12 h | 826 |
| 39 h | 1,066 |
Кажется нашел кого спросить про response cache В сентябре, когда OpenRouter выкатил Response Caching, я тут спрашивал: кто вообще использует exact response cache в ллм проектах? Вопрос был не риторический) А тут позвали на зимнюю Conversations 2 декабря в Мск. Листаю программу и вижу доклад: «Turn-taking, филлеры, кэш: что нужно вокруг LLM, чтобы с ботом хотелось говорить». Да, я опять про кэш. Куда ж без этого. Но голосовые боты это как раз то место где я бы такой кэш и искал. В чатике лишние полсекунды(да и честно говоря пол минуты) до первого токена переживут, а в разговоре это уже неловкая пауза. При этом в названии просто «кэш», и мне интересно какой. Префикса? Готовых ответов или уже озвученных кусков аудио? И что они делают когда меняется промпт? Сразу скажу - про инференс и гпушки в программе ничего нет, конфа про продукты и про то как аи приживается в компаниях. Но послушать мне там есть что и помимо кэша. У билайна доклад «Токены как новая валюта труда» (что-то вспомнил мем про ветку), а я как раз из тех кто считает что мерить надо стоимость задачи, так что будет о чем поспорить. А у Авито в названии доклада прямо написано «что сломалось в проде». Чужие грабли это хорошо, такое мы любим. Короче - еду. Кто тоже будет, пишите, пересечемся. В прошлый раз заобщались там с Глебом, Колей и Артемом. В этот раз тоже занетворкаемся) П.с. Ребята из Just AI дали промокод для канала: CVS26mTnS, это -10% к билетам. До 16 ноября они еще и дешевле.
Open in TelegramHours after publication
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 8 h | 793 |
| 18 h | 1,090 |
| 32 h | 1,189 |
| 74 h | 1,332 |
Forwarded from Deep 🍒 Picking | Артём Вишня
💜 300 токенов в секунду: пилотируемся Никто не обещал, что будет просто, но мы с Серёжей наконец-то это сделали! Встречайте первый выпуск подкаста "300 токенов в секунду" 😏 В гостях нашего пилотного выпуска побывал Валера Ковальский - независимый консультант по вопросам внедрения ИИ, за плечами которого многолетний опыт экспериментов, руководства AI-командами, а теперь еще и развитие своей собственной AI-платформы (хаба) в РФ - NeuralDeep. В этом выпуске: ⏺️Как из домашнего майнинга и покупки видеокарт "для души" вырастает собственный ИИ-провайдер? ⏺️В какой момент к тебе в команду агентов всё-таки приходится звать людей? ⏺️Почему кэш - это буквально деньги: три правила кэширования промптов и ошибки, из-за которых запросы обходятся дороже, а пользователи дольше ждут ответа? ⏺️Что стоит за скоростью локальных моделей: игровые видеокарты, квантизация, распределение нагрузки и борьба с зацикленными генерациями? ⏺️Почему новая модель ещё не означает готовность к продакшену? И как понять, стоит ли вообще менять ту, которая уже работает? ⏺️Как красивые ответы модели могут оказаться галлюцинациями? Что меняется, когда агент получает возможность самостоятельно искать информацию? ⏺️Можно ли сегодня реально поручить агенту экспериментировать и улучшать решение по метрикам? ⏺️Правда ли, что просьба "исправляй, пока не станет идеально" может закончиться тысячами лишних строк кода? ⏺️Как Валера организует память агентов на базе простой связки Markdown и Git, а совместную работу и деплой - через общие правила и блокировки. Выпуск получился зубодробительным по технине, но без этого никуда ❤️ Желаем приятного просмотра / прослушивания! 🇷🇺 Смотреть на RUTUBE 📹 Смотреть на YouTube 🎵 Слушать в Яндекс Музыке (еще доезжает) 📺 Смотреть в VK Видео 🎵 Слушать в аудио И да: это наша проба пера (буквально пилот, подготовленный за считанные часы до записи) и мы будем рады вашей обратке, чтобы в следующий раз попробовать сделать еще круче 🔥
Open in TelegramОсторожнее с вопросами на конференциях. Так можно завести подкаст) С Артемом Вишня мы познакомились на конференции - он задал хороший вопрос про SGLang, и вот к чему это привело... Первый выпуск нашего совместного подкаста - у Артёма в посте (вон там внизу). Назвали «300 токенов в секунду» - по здешнему тегу #300tps. Им я помечал посты ближе к инженерке, те которые могут быть не всем понятны. Собственно одна из основных договоренностей подкаста - не запариваться над тем чтобы его поняли все. Говорим как есть, как привыкли общаться в своей среде. Начали с Валеры Ковальского из NeuralDeep. Поговорили о том, как из увлечения видеокартами вырастает свой ИИ-провайдер. В кэш, конечно, тоже залезли. Куда ж без этого. Это пилот, поэтому очень рассчитываем на вашу поддержку, коменты, фидбек, репосты, донаты
Open in TelegramForwarded from AI и грабли
Большая часть людей оказалась в этом канале через одну из конференций, которую я организовывал Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после) На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅 Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно И вот, что мы решили: 1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций 2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас) 3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это 4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет 11-12 ноября с 14:00 по мск. Приводите коллег и начальство Как обычно, можно платно, а можно бесплатно, при подписке на спикеров ai-dev.live
Open in TelegramForwarded from Вартанян в сингулярности и вокруг неё
Ребят, если у вас есть сайт, интернет-магазин, или корпоративный портал на PHP (CMS роли не играет) - срочно (!!!) передайте своим админам. В PHP нашли две критические уязвимости. Проблема в самой технологии, поэтому может затронуть разные движки и самописные сайты. Точный список затронутых версий и условия атаки ещё не раскрыли. Исправления разрабы PHP обещают сегодня, 21 октября, в 17:00 по Москве. Но эксплоит уже гуляет по сети! Что сделать: уже сейчас написать администратору или интегратору и попросить подготовиться к обновлению PHP, установить исправления после выхода и проверить, что сайт работает. Просто обновить сам движок сайта недостаточно — нужно обновить PHP на сервере.
Open in Telegram«Давайте просто развернём свою LLM на 1Т параметров» На Хабре вышла статья по мотивам моего июньского доклада на Saint HighLoad++ Рассказываю про то как начали с гпушки с моделью и обрастали гейтвей, роутерами, очередями/планировщиками и тд. Читайте, жду в комменты)
Open in TelegramА сколько нам это стоит? Не знаю как у вас, а у меня этот год в ai ассоциируется с фразой "Где деньги Лебовски?" ) И судя по сообществу и докладам на конференциях - похожие ощущения у многих. Те вот до этого вопросы были "а что делать с аи?", "а как делать это с аи?", "а можно траву трогать а не вот это все?" А сейчас все тоже самое но прошитое словом "оптимизация". Мы как то нативно дошли до необходимости попадать в кэш, роутить простые запросы в модель послабее или вообще в Jev-лайк, и считать не стоимость токенов а стоимость выполнения задачи. Про первое и второе поговорим еще, а вот оценку стоимости хочу зацепить. Позвали тут на конференцию AI Native Conf (от тех самых ребят что организуют Highload), и зецепился за доклад Богдана Гарбара про Экономику ИИ. Порадовал в описании тезис о том что ROI тут определяется во многом инференсом (сразу понятно что будет разговор про selfhosted, а значит моя тема). Тут кажется все просто - берем стоимость железки, берем производительность, берем утилизацию, делим, перемножаем и вуаля. Только вот выясняется что производительность у тебя меняется каждый день из-за изменения характера запросов и настроек кэш-роутера. Утилизацию сколько ставить максимальную? 80%? А если ночь пустая? Делать дешевле запросы? А утилизация это что вообще? Сколько запросов в очереди? Сколько запросов в среднем с терпимым ttft, e2e? (На самом деле по уму там порядка 16 параметров одновременно в учете). Короче - я в деле, готов идти только из-за этого доклада, нетворкинга с коллегами и крутой организации)
Open in TelegramКак же офигенно оно генерирует анимационные ролики! Повелся тут на призывы попробовать Opus 5.5 для генерации. Закинул буквально пару строк промпта (взял кстати отсюда) и ссылку на скилл аудита кэша... И это очень хорошо! Очень) Так вот - знаю у многих есть свои классные скиллы) я точно пользуюсь 4мя скиллами от ребят из комьюнити. Погнали генерировать 30сек анимаций про них! (ой умирает во мне инфоцыган) make a dynamic 30-second motion graphics video that shows what an incredible motion designer you are, like it's your showreel for a résume. video about my skill for agents https://github.com/sernote/audit-prompt-caching . go all out. dont use any my custom skills В коменты закину еще 3 минутное видео, там вообще считай обучающий ролик про префикс, анти-паттерны и тд. @neuraldeep ты следующий)) у тебя там вообще пачка, можно сериал снимать.
Open in Telegram@neuraldeep прилетел в Калининград поздравить с 5к! Шучу, зачем прилетел он наверное расскажет в канале)
Open in TelegramЕсли каждый подписчик скинется по 1Р... то одной купюры уже точно не хватит :) Я конечно могу сделать вид что не заметил тот момент когда канал перешел отметку в 5к участников. Могу сделать вид, что не просматриваю тех кто подписывается и не оставляю ехидные коменты в голове по поводу тех кто отписывается. Но это будет неправдой) Хочу сказать вам большое спасибо, что читаете, оставляете реакции, пишете в коменты и личку. Надеюсь вы получаете то за чем пришли и остались, будь это польза, положительные эмоции или подтверждение того что аи это пузырь, наполненный инфоцыганами вроде меня. Да, мне сложно дается вести канал на постоянной основе, но как говорили великие - не можешь идти к цели - лежи по направлению к ней. Вот лежу. Этот канал подрос за последний год во многом благодаря ребятам из нашего аи-сообщества(парни я безмерно благодарен за каждый ваш репост), но я бы хотел поддержать те каналы и авторов которых считаю достойными к прочтению и подписке, несмотря на то что пока у них не так много подписчиков. Многие из них ведут свои каналы не регулярно, поэтому предлагаю подписаться на ребят, чтобы не оставить им шансов утаивать свои крутые мысли и опыт от нас. Итак, мой рекомендасьйон темных лошадок: - https://t.me/asvishnya_blog - с Артемом познакомились на конфе (он задал хороший вопрос по SGLang), и с тех пор мы в постоянном контакте. Зацените его последние посты про Jev. - https://t.me/blog_hanzo - с автором (Петр, привет) познакомились где-то в коментах, читаю его посты и часто ловлю себя на мысли что сам написал бы также. - https://t.me/llmsecurity - автор пишет про AI Security. Да да, примерно то о чем никто не хочет думать, но думать надо) Классные обзоры и кейсы. - https://t.me/silent_ai_cto - Влад CTO по AI, чрезвычайно интересный человек с системным подходом к аи внедрениями. Эти ребята сразу вспомнились, возможно добавлю еще кого-то кого забыл)
Open in TelegramForwarded from Deep 🍒 Picking | Артём Вишня
В последнее время с командой ✌️ пересекаемся с задачами распознавания речи (транскрибации aka STT), пост-обработки через LLM и синтеза ответа (TTS). Типовой пайплайн, в общем. Причем нередко в наземных условиях (self-hosted / on-prem). Но в распознавании тех же встреч, особенно в случае, если у тебя уже смикшированы каналы и вытащить отдельных спикеров из аудио "детерминировано" нельзя, есть старая-добрая задача диаризации (SD). В свое время в игрушечных задачках навроде хакатонов мы гоняли NeMo от NVIDIA (цитирую). Уже тогда народ баловался Pyannote и еже с ними с неприятной лицензией. На днях попался бэнч от ребят из ру-коммьюнити распознавания, в котором топ-3: - NeMo Nemotron3 - SUPlime Large - DiariZen Large MD v2 Причем 2 последних с кодом MIT, а весами - NonCommecial, а вот Nemotron 3 Diarization - делай что хочешь и лучшие метрики в своем классе. Решил бегло чекнуть Nemotron 3 Diarization в домашних условиях и что имеем: * 20 минут за 1,5 секунды на прогретой модели (т.е. более 700х); * 1 Гб утилизации VRAM; * при протыкивании ручками по сегментам всей встречи - почти идеальный захват; * что забавно, на встрече реально было 4 человека, но спикеров 5 - да потому что реально в коридоре кто-то на фоне проходил с телефоном за кофе и обратно; По уму, конечно, надо бы сгрузить из ВКС сырцы аудио или транскрипт с метками спикеров и сравнить на предмет DER, но это надо брать и делать 🤥 В общем, наземная свободная к коммерции диаризация неделю назад (с релиза), кажется, переживает качественное перерождение 🔥 ЗЫ: глядя на сегменты аудио спикеров (скрин) подумал - а могла бы вообще быть полезна аналитика вида: "На обсуждение ушло 20 минут. Руководитель проекта говорил 65% времени, технический эксперт - 25%, заказчик - 10%. Заказчик обозначил два ограничения, по одному решение не зафиксировано"? ЗЗЫ: офтоп, но в задаче TTS сегодня появился лидерборд с отдельным чекбоксом для русского (блог).
Open in TelegramНа прошлой неделе вышла моделька закрывающая боль нормальной разметки спикеров в аудио. Лицензия - делай что хочешь, скорость - топ, и даже на нашем с вами языке работает отлично) п.с. Подписывайтесь на канал Артёма - он мало того что шарит, так еще и на практике все исследует. А я буду его попинывать, чтобы он чаще писал)
Open in TelegramЕще один способ выстрелить себе в ногу или response cache от Openrouter. - Мам, нам нужен кэш для LLM! - У нас уже есть кэш дома. Тем временем кэш дома: key = sha256(request_body) if redis.exists(key): return redis.get(key) response = llm(request) redis.setex(key, 300, response) return response OpenRouter недавно добавил Response Caching. И гордо сообщил мне об этом в почтовой рассылке. Но вот когда прочитал документацию, реакция была примерно такой: а новость-то в чём? Мы берём запрос, сохраняем ответ. Если прилетает такой же запрос - возвращаем старый ответ, вообще не вызывая модель. Собственно платформа сделала это на своей стороне, и даже билить за такие запросы не будут. Работает правда только в рамках одного API-ключа. А для включения нужно передать соответствующий хидер. Ну да ладно, сделали и сделали, меньше самому реализовывать, но я бы 10 раз подумал перед тем как использовать эту историю. 1. Это не кэш префикса - и это главный момент. Там переиспользуем вычисления над совпавшим началом промпта, те генерация ответа в любом случае происходит. Тут же (в response кэше) никаких генераций, ответ аналогичен для всех попадающих в него запросов. 2. Включать для всех запросов - нельзя (можно но не надо). Управления списком таких запросов - нет. 3. А если вдруг нужен один ответ на похожие запросы - используем семантический кэш тогда уж. 4. Хоба, и кнопка "перегенерировать" перестает работать на ровном месте (кстати изменение температуры у них не отменяет попадание в кэш). А коли необходим классический кэш - нечего перекладывать ответственность на роутер) И заочно боюсь за тех кто прочитает только "... кэш ... бесплатно .... нужно всего лишь..." Чего мне пока не хватает - понимания, на каком реальном трафике здесь получается заметная экономия. Даже OR в 2 из 3х примеров указывает CI и тестовые прогоны. Собственно вопрос: Кто использует именно exact response cache в ллм проектах? Что у вас повторяется целиком, почему прежний ответ подходит и какой получается hit rate? Не prefix и не семантик. Именно готовые ответы на одинаковые запросы.
Open in Telegram#300tps Не меняйте reasoning effort в агенте, пока не прочитаете это… Ладно это кликбейт. Но вы же не поэтому кликнули, да? Вы в курсе, что изменение уровня рассуждений в запросе инвалидирует префикс кэш? Хотя казалось бы - поменял настройку "величины" ответа, какого черта кэш входящего запроса пропал? Кто не в теме - дело в том, что настройка степени ризонинга чаще всего подставляется в input, те концептуально: <internal_config> thinking_effort = high </internal_config> <system> ... </system> <user> ... </user> Сами антропики в документации пишут что: "The resolved effort value is rendered into the prompt." У всех опенсорс моделек, что довелось посмотреть, схема примерно та же. На самом деле не всегда все так просто, но это дело для отдельной статейки (спойлер, да). А теперь к хорошим новостям: У Astra и у Fable 5.1 (не 5) появилась возможность изменить effort для продолжения треда, не переписывая исходную конфигурацию разговора. Короче - попадать в кэш, даже при смене степени ризонинга. При этом делать это нужно через спец. конструкции configuration_update и output_config. пример для Astra { "model": "gpt-6-astra", "previous_response_id": "resp_...", "reasoning": {"effort": "high"}, "input": [ { "type": "configuration_update", "reasoning": {"effort": "low"} }, { "role": "user", "content": "Собери короткий итог без нового анализа." } ] } пример для Fable 5.1 { "role": "system", "content": [], "output_config": { "effort": "low" } } Причем и там и там настройка действует только до следующего user turn. Работает ли это под капотом Codex и Claude Code? Claude - да, начиная с версии 2.1.260 Codex - да, но на сегодняшний день, только через явное включение фичи reasoning_effort_override. П.с. в скилле audit-prompt-caching это уже учтено. Пользуйтесь, экономьте денежки и TTFT.
Open in TelegramForwarded from Тимур Хахалев про AI Coding
show-me skill Тут немного завирусился skill от humanlayer – show-me. Суть – помочь пользователю понять diff'ы с помощью кратких диаграмм, псевдокода или HTML. Я попробовал, мне понравилось, рекомендую и вам! Установить: npx skills add humanlayer/skills --skill show-me 📱 Ссылка на github Пример на скриншотах. Лайк, репост, ✔️ Тимур Хахалев про AI Coding, подписывайтесь!
Open in TelegramВроде такой очевидный скилл (ака объясни по простому, через схему и тд), но мне тоже он зашел. Не только для себя, но и для формирования понятного описания результатов задачи "широкому кругу лиц". Главное, как подметили в комментах оригинального поста, за этими упрощениями не прохлопать важные нюансы. Впрочем, это всегда актуально при работе с агентами)
Open in TelegramДорогой OpenAI. Прости меня за мой сарказм. Я был не прав. Сайт с галактикой - это совсем другой уровень! П.с. А если серьезно - ждем доступа и тестов. Слишком много хайпа в нашем деле. Никому верить нельзя (с) Макс Т., мой ментор в QA 10 лет назад.
Open in Telegram