Кабинет

Посты канала AI да парень! / Sergei Notevskii

сначала новые

#689Фото
Просмотры959−31%к среднему
Пересылки5
Реакции42
Комментарии3
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
12 ч734
39 ч959
  1. Всего сейчас959
#688Файл
Просмотры1 066−24%к среднему
Пересылки21
Реакции19
Комментарии1
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
12 ч826
39 ч1 066
  1. Всего сейчас1 066
#687Превью ссылкиизменён

Кажется нашел кого спросить про response cache В сентябре, когда OpenRouter выкатил Response Caching, я тут спрашивал: кто вообще использует exact response cache в ллм проектах? Вопрос был не риторический) А тут позвали на зимнюю Conversations 2 декабря в Мск. Листаю программу и вижу доклад: «Turn-taking, филлеры, кэш: что нужно вокруг LLM, чтобы с ботом хотелось говорить». Да, я опять про кэш. Куда ж без этого. Но голосовые боты это как раз то место где я бы такой кэш и искал. В чатике лишние полсекунды(да и честно говоря пол минуты) до первого токена переживут, а в разговоре это уже неловкая пауза. При этом в названии просто «кэш», и мне интересно какой. Префикса? Готовых ответов или уже озвученных кусков аудио? И что они делают когда меняется промпт? Сразу скажу - про инференс и гпушки в программе ничего нет, конфа про продукты и про то как аи приживается в компаниях. Но послушать мне там есть что и помимо кэша. У билайна доклад «Токены как новая валюта труда» (что-то вспомнил мем про ветку), а я как раз из тех кто считает что мерить надо стоимость задачи, так что будет о чем поспорить. А у Авито в названии доклада прямо написано «что сломалось в проде». Чужие грабли это хорошо, такое мы любим. Короче - еду. Кто тоже будет, пишите, пересечемся. В прошлый раз заобщались там с Глебом, Колей и Артемом. В этот раз тоже занетворкаемся) П.с. Ребята из Just AI дали промокод для канала: CVS26mTnS, это -10% к билетам. До 16 ноября они еще и дешевле.

Открыть в Telegram
Просмотры1 332−5%к среднему
Пересылки8
Реакции21
Комментарии12
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
8 ч793
18 ч1 090
32 ч1 189
74 ч1 332
  1. Через 6 часов793
  2. Через 24 часа1 090
  3. Всего сейчас1 332
#685Фото

Переслано из Deep 🍒 Picking | Артём Вишня

💜 300 токенов в секунду: пилотируемся Никто не обещал, что будет просто, но мы с Серёжей наконец-то это сделали! Встречайте первый выпуск подкаста "300 токенов в секунду" 😏 В гостях нашего пилотного выпуска побывал Валера Ковальский - независимый консультант по вопросам внедрения ИИ, за плечами которого многолетний опыт экспериментов, руководства AI-командами, а теперь еще и развитие своей собственной AI-платформы (хаба) в РФ - NeuralDeep. В этом выпуске: ⏺️Как из домашнего майнинга и покупки видеокарт "для души" вырастает собственный ИИ-провайдер? ⏺️В какой момент к тебе в команду агентов всё-таки приходится звать людей? ⏺️Почему кэш - это буквально деньги: три правила кэширования промптов и ошибки, из-за которых запросы обходятся дороже, а пользователи дольше ждут ответа? ⏺️Что стоит за скоростью локальных моделей: игровые видеокарты, квантизация, распределение нагрузки и борьба с зацикленными генерациями? ⏺️Почему новая модель ещё не означает готовность к продакшену? И как понять, стоит ли вообще менять ту, которая уже работает? ⏺️Как красивые ответы модели могут оказаться галлюцинациями? Что меняется, когда агент получает возможность самостоятельно искать информацию? ⏺️Можно ли сегодня реально поручить агенту экспериментировать и улучшать решение по метрикам? ⏺️Правда ли, что просьба "исправляй, пока не станет идеально" может закончиться тысячами лишних строк кода? ⏺️Как Валера организует память агентов на базе простой связки Markdown и Git, а совместную работу и деплой - через общие правила и блокировки. Выпуск получился зубодробительным по технине, но без этого никуда ❤️ Желаем приятного просмотра / прослушивания! 🇷🇺 Смотреть на RUTUBE 📹 Смотреть на YouTube 🎵 Слушать в Яндекс Музыке (еще доезжает) 📺 Смотреть в VK Видео 🎵 Слушать в аудио И да: это наша проба пера (буквально пилот, подготовленный за считанные часы до записи) и мы будем рады вашей обратке, чтобы в следующий раз попробовать сделать еще круче 🔥

Открыть в Telegram
Просмотры1 056−24%к среднему
Пересылки36
Реакции42
Комментарии1
#684Текст
Просмотры1 326−5%к среднему
Пересылки1
Реакции23
Комментарии1
#683Фото

Переслано из AI и грабли

Большая часть людей оказалась в этом канале через одну из конференций, которую я организовывал Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после) На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅 Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно И вот, что мы решили: 1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций 2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас) 3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это 4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет 11-12 ноября с 14:00 по мск. Приводите коллег и начальство Как обычно, можно платно, а можно бесплатно, при подписке на спикеров ai-dev.live

Открыть в Telegram
Просмотры867−38%к среднему
Пересылки3
Реакции29
Комментарии1
#682Текст
Просмотры2 325+66%к среднему
Пересылки23
Реакции28
Комментарии1
#680Фотоизменён
Просмотры3 435+146%к среднему
Пересылки32
Реакции41
Комментарии4
#679Превью ссылки

А сколько нам это стоит? Не знаю как у вас, а у меня этот год в ai ассоциируется с фразой "Где деньги Лебовски?" ) И судя по сообществу и докладам на конференциях - похожие ощущения у многих. Те вот до этого вопросы были "а что делать с аи?", "а как делать это с аи?", "а можно траву трогать а не вот это все?" А сейчас все тоже самое но прошитое словом "оптимизация". Мы как то нативно дошли до необходимости попадать в кэш, роутить простые запросы в модель послабее или вообще в Jev-лайк, и считать не стоимость токенов а стоимость выполнения задачи. Про первое и второе поговорим еще, а вот оценку стоимости хочу зацепить. Позвали тут на конференцию AI Native Conf (от тех самых ребят что организуют Highload), и зецепился за доклад Богдана Гарбара про Экономику ИИ. Порадовал в описании тезис о том что ROI тут определяется во многом инференсом (сразу понятно что будет разговор про selfhosted, а значит моя тема). Тут кажется все просто - берем стоимость железки, берем производительность, берем утилизацию, делим, перемножаем и вуаля. Только вот выясняется что производительность у тебя меняется каждый день из-за изменения характера запросов и настроек кэш-роутера. Утилизацию сколько ставить максимальную? 80%? А если ночь пустая? Делать дешевле запросы? А утилизация это что вообще? Сколько запросов в очереди? Сколько запросов в среднем с терпимым ttft, e2e? (На самом деле по уму там порядка 16 параметров одновременно в учете). Короче - я в деле, готов идти только из-за этого доклада, нетворкинга с коллегами и крутой организации)

Открыть в Telegram
Просмотры3 607+158%к среднему
Пересылки8
Реакции27
Комментарии2
#678Видеоизменён
Просмотры3 032+117%к среднему
Пересылки116
Реакции35
Комментарии12
#675Фото

Если каждый подписчик скинется по 1Р... то одной купюры уже точно не хватит :) Я конечно могу сделать вид что не заметил тот момент когда канал перешел отметку в 5к участников. Могу сделать вид, что не просматриваю тех кто подписывается и не оставляю ехидные коменты в голове по поводу тех кто отписывается. Но это будет неправдой) Хочу сказать вам большое спасибо, что читаете, оставляете реакции, пишете в коменты и личку. Надеюсь вы получаете то за чем пришли и остались, будь это польза, положительные эмоции или подтверждение того что аи это пузырь, наполненный инфоцыганами вроде меня. Да, мне сложно дается вести канал на постоянной основе, но как говорили великие - не можешь идти к цели - лежи по направлению к ней. Вот лежу. Этот канал подрос за последний год во многом благодаря ребятам из нашего аи-сообщества(парни я безмерно благодарен за каждый ваш репост), но я бы хотел поддержать те каналы и авторов которых считаю достойными к прочтению и подписке, несмотря на то что пока у них не так много подписчиков. Многие из них ведут свои каналы не регулярно, поэтому предлагаю подписаться на ребят, чтобы не оставить им шансов утаивать свои крутые мысли и опыт от нас. Итак, мой рекомендасьйон темных лошадок: - https://t.me/asvishnya_blog - с Артемом познакомились на конфе (он задал хороший вопрос по SGLang), и с тех пор мы в постоянном контакте. Зацените его последние посты про Jev. - https://t.me/blog_hanzo - с автором (Петр, привет) познакомились где-то в коментах, читаю его посты и часто ловлю себя на мысли что сам написал бы также. - https://t.me/llmsecurity - автор пишет про AI Security. Да да, примерно то о чем никто не хочет думать, но думать надо) Классные обзоры и кейсы. - https://t.me/silent_ai_cto - Влад CTO по AI, чрезвычайно интересный человек с системным подходом к аи внедрениями. Эти ребята сразу вспомнились, возможно добавлю еще кого-то кого забыл)

Открыть в Telegram
Просмотры2 377+70%к среднему
Пересылки15
Реакции82
Комментарии10
#673Фото

Переслано из Deep 🍒 Picking | Артём Вишня

В последнее время с командой ✌️ пересекаемся с задачами распознавания речи (транскрибации aka STT), пост-обработки через LLM и синтеза ответа (TTS). Типовой пайплайн, в общем. Причем нередко в наземных условиях (self-hosted / on-prem). Но в распознавании тех же встреч, особенно в случае, если у тебя уже смикшированы каналы и вытащить отдельных спикеров из аудио "детерминировано" нельзя, есть старая-добрая задача диаризации (SD). В свое время в игрушечных задачках навроде хакатонов мы гоняли NeMo от NVIDIA (цитирую). Уже тогда народ баловался Pyannote и еже с ними с неприятной лицензией. На днях попался бэнч от ребят из ру-коммьюнити распознавания, в котором топ-3: - NeMo Nemotron3 - SUPlime Large - DiariZen Large MD v2 Причем 2 последних с кодом MIT, а весами - NonCommecial, а вот Nemotron 3 Diarization - делай что хочешь и лучшие метрики в своем классе. Решил бегло чекнуть Nemotron 3 Diarization в домашних условиях и что имеем: * 20 минут за 1,5 секунды на прогретой модели (т.е. более 700х); * 1 Гб утилизации VRAM; * при протыкивании ручками по сегментам всей встречи - почти идеальный захват; * что забавно, на встрече реально было 4 человека, но спикеров 5 - да потому что реально в коридоре кто-то на фоне проходил с телефоном за кофе и обратно; По уму, конечно, надо бы сгрузить из ВКС сырцы аудио или транскрипт с метками спикеров и сравнить на предмет DER, но это надо брать и делать 🤥 В общем, наземная свободная к коммерции диаризация неделю назад (с релиза), кажется, переживает качественное перерождение 🔥 ЗЫ: глядя на сегменты аудио спикеров (скрин) подумал - а могла бы вообще быть полезна аналитика вида: "На обсуждение ушло 20 минут. Руководитель проекта говорил 65% времени, технический эксперт - 25%, заказчик - 10%. Заказчик обозначил два ограничения, по одному решение не зафиксировано"? ЗЗЫ: офтоп, но в задаче TTS сегодня появился лидерборд с отдельным чекбоксом для русского (блог).

Открыть в Telegram
Просмотры2 489+78%к среднему
Пересылки82
Реакции34
Комментарии2
#672Текст
Просмотры2 196+57%к среднему
Пересылки7
Реакции17
Комментарии2
#671Превью ссылки

Еще один способ выстрелить себе в ногу или response cache от Openrouter. - Мам, нам нужен кэш для LLM! - У нас уже есть кэш дома. Тем временем кэш дома: key = sha256(request_body) if redis.exists(key): return redis.get(key) response = llm(request) redis.setex(key, 300, response) return response OpenRouter недавно добавил Response Caching. И гордо сообщил мне об этом в почтовой рассылке. Но вот когда прочитал документацию, реакция была примерно такой: а новость-то в чём? Мы берём запрос, сохраняем ответ. Если прилетает такой же запрос - возвращаем старый ответ, вообще не вызывая модель. Собственно платформа сделала это на своей стороне, и даже билить за такие запросы не будут. Работает правда только в рамках одного API-ключа. А для включения нужно передать соответствующий хидер. Ну да ладно, сделали и сделали, меньше самому реализовывать, но я бы 10 раз подумал перед тем как использовать эту историю. 1. Это не кэш префикса - и это главный момент. Там переиспользуем вычисления над совпавшим началом промпта, те генерация ответа в любом случае происходит. Тут же (в response кэше) никаких генераций, ответ аналогичен для всех попадающих в него запросов. 2. Включать для всех запросов - нельзя (можно но не надо). Управления списком таких запросов - нет. 3. А если вдруг нужен один ответ на похожие запросы - используем семантический кэш тогда уж. 4. Хоба, и кнопка "перегенерировать" перестает работать на ровном месте (кстати изменение температуры у них не отменяет попадание в кэш). А коли необходим классический кэш - нечего перекладывать ответственность на роутер) И заочно боюсь за тех кто прочитает только "... кэш ... бесплатно .... нужно всего лишь..." Чего мне пока не хватает - понимания, на каком реальном трафике здесь получается заметная экономия. Даже OR в 2 из 3х примеров указывает CI и тестовые прогоны. Собственно вопрос: Кто использует именно exact response cache в ллм проектах? Что у вас повторяется целиком, почему прежний ответ подходит и какой получается hit rate? Не prefix и не семантик. Именно готовые ответы на одинаковые запросы.

Открыть в Telegram
Просмотры3 101+122%к среднему
Пересылки14
Реакции30
Комментарии10
#670Превью ссылкиизменён

#300tps Не меняйте reasoning effort в агенте, пока не прочитаете это… Ладно это кликбейт. Но вы же не поэтому кликнули, да? Вы в курсе, что изменение уровня рассуждений в запросе инвалидирует префикс кэш? Хотя казалось бы - поменял настройку "величины" ответа, какого черта кэш входящего запроса пропал? Кто не в теме - дело в том, что настройка степени ризонинга чаще всего подставляется в input, те концептуально: <internal_config> thinking_effort = high </internal_config> <system> ... </system> <user> ... </user> Сами антропики в документации пишут что: "The resolved effort value is rendered into the prompt." У всех опенсорс моделек, что довелось посмотреть, схема примерно та же. На самом деле не всегда все так просто, но это дело для отдельной статейки (спойлер, да). А теперь к хорошим новостям: У Astra и у Fable 5.1 (не 5) появилась возможность изменить effort для продолжения треда, не переписывая исходную конфигурацию разговора. Короче - попадать в кэш, даже при смене степени ризонинга. При этом делать это нужно через спец. конструкции configuration_update и output_config. пример для Astra { "model": "gpt-6-astra", "previous_response_id": "resp_...", "reasoning": {"effort": "high"}, "input": [ { "type": "configuration_update", "reasoning": {"effort": "low"} }, { "role": "user", "content": "Собери короткий итог без нового анализа." } ] } пример для Fable 5.1 { "role": "system", "content": [], "output_config": { "effort": "low" } } Причем и там и там настройка действует только до следующего user turn. Работает ли это под капотом Codex и Claude Code? Claude - да, начиная с версии 2.1.260 Codex - да, но на сегодняшний день, только через явное включение фичи reasoning_effort_override. П.с. в скилле audit-prompt-caching это уже учтено. Пользуйтесь, экономьте денежки и TTFT.

Открыть в Telegram
Просмотры5 991+329%к среднему
Пересылки183
Реакции61
Комментарии9
#668Фотоальбом
Просмотры3 064+119%к среднему
Пересылки135
Реакции27
Комментарии3
#667Текст
Просмотры3 075+120%к среднему
Пересылки4
Реакции24
Комментарии1
#666Видео
Просмотры3 976+185%к среднему
Пересылки5
Реакции47
Комментарии11