Посты канала Dealer.AI

Интересное наблюдение. Если у вас была такая идея, стоит отказаться. Дорого)

Проверил популярную идею: Opus думает и ревьюит, а код пишет дипсик или квен. Вроде должно выйти почти так же, но дешевле. Раньше я собирал сеты из своих сессий, но там задачи слишком лёгкие. В этот раз взял 12 сложных задач из открытых бенчмарков, самые похожие на мою работу, в основном hard ML/SWE. Сделал пару прогонов, поправил сами задачи. Больше половины задач в бенчмарках не честные: тесты либо валили рабочее решение, либо пропускали слабое. Потом прогнал разные связки моделей, там штук 7 разных сетапов включая из статьи дипсика про super agent и разные модели. tldr: Стало хуже и дороже: Один Opus: 81%, $1.20 за задачу Opus + DeepSeek Flash: 67%, $1.29 Из интересного: > Деньги в основном уходят на кеш промпта. кеш у Opus протухает, пока дешевая модель работает и пересобирать его дороже, чем вся работа дешёвой модели. > Сработала идея по мотивам статьи DeepSeek про Super-agent: не запрещать Opus писать код, а сказать ему, что его токены в 20 раз дороже. Скор тот же, а цена почти вдвое ниже ($0.71). > Дешёвые модели в одиночку обогнали все связки: Terra 78%, Sol 75%, по $0.17 за задачу. > Sol отлично ревьюит, Opus в этой роли так себе. Пайплайн ревью: диффы и если есть косяк, просит воркера переделать. ссылки: 1. Задачи лежат в Harbor, можете прогнать сами: линк 2. Полная таблица: линк 3. Тред в X линк 4. Пост на Reddit: линк

Без текста

От метаэвристики человека к прокси мясного в лице LLM с Weight Space programming . Или почему я пока не верю в сильный концепт weight space programming для моделей, но верю в такое же для, к примеру, программ или управления ручками. Ну вы меня вынудили... Из каждого утюга ща пойдёт, уже сток скинули в лс с дрожанием и волнением... 😬Ну ща 📦 разберётся. 🔫 TL;DR: Работа интересная и местами впечатляющая, заявка на "LLM понимает и программирует веса", но пока сильно опережает доказательства. 🫤 Это скорее LLM-guided эвристический фикс известных дефектов, чем новая парадигма оптимизации. В самом экспе нового ничего модель не создаёт, но фиксит известные праблы. 👍 Что действительно показали - LLM может по «сырым» весам определять поведение малых сетей: игру, фигуру в диффузии, язык и induction head. Точечные правки весов могут убирать известные блокеры: зацикливание в Qwen3.5-0.8B, неудачную политику в симуляторе и тп. Это полезно для аудита, интерпретируемости и отладки, где градиенту нечего оптимизировать без objective функции. При этом наблюдаем: 1.Провал на Gemma 3 270M. Метод убирает препятствие, скрывающее способность модели, но не добавляет новую способность. Градиентный спуск именно этим и занимается. 🧠 2. Qwen-это кейс про ремонт задокументированного бага, а не доказательство общего понимания весов. 3. Breakout 517 итераций vs PPO 15-25, это нечестное сравнение, где разные бюджеты, возможная эксплуатация конкретной среды и нет отложенных задач. 4. Нет пока масштабируемости, те имеем малые сети, one-shot правки и нет итеративного цикла оценка→отбор→сходимость. 5. Нет аудита побочных эффектов: улучшили MATH и IFEval, но могли незаметно сломать другое. 6. Воспроизводимость низкая: всё ключевое - на проприетарной GPT-6 Astra. Вспомним кейсы с "открытиями" в математике, где обнаруживались неточности. По сути это метаэвристика, где LLM вместо челика, как гиперэвристика, но пока без полноценного поиска и гарантий. 🆒 Вижу для Weight-Space Programming наиболее правдоподобная роль это semantic prior + градиентное дообучение, а не «семантический спуск вместо градиента». Как универсальный оптимизатор - пока нет. Как исследовательское направление, думаю, да, за ним стоит следить. 💪 Upd. Это работает не из-за "понимания" весов, а из-за связки: низкоразмерные сигнатуры малых сетей + знакомые паттерны из претрейна + избыточность весов + локальность багов + generate-and-test с forward pass, как оракулом + простые задачи с коротким правилом. Убери любой элемент - магия рассыпается (пример провал на Gemma). LLM оперирует семантическими прокси, а не реальной функциональностью. И когда находит известное узкое место при наличии проверки ≠ понимает и программирует веса. Я напомню, что модели не рассуждают, все ещё, а генерят наиболее вероятный токен на контекст исходя из того, что видели в обучении.

"Собеседование по кодингу, по крайней мере в моей команде, не имеет смысла" - менеджер Anthropic 😄 Такой тезис приводит Феликс Ризеберг в разборе от Business Insider. Инженерный менеджер Anthropic, заявил, что в его команде больше не проводят классические coding-интервью. Причина простая: ИИ сделал их бессмысленным, как инструмент отбора. Формула Ризеберга: «голод побеждает выслугу лет». 🆒 Это не только история Anthropic. Google тестирует собеседования, где кандидатам разрешают использовать Gemini. Amazon говорит инженерам ставить бизнес-результаты выше простого применения ИИ. 👌 Сейчас Ризеберг ищет в резюме и портфолио небольшие прототипы, которые показывают вкус, эмпатию и принципиальное мышление. 😘 Моё мнение. Не могу согласиться со всеми пойнтами, но все же что-то общее есть. Я все ещё придерживаюсь в дизайне собесов этапов: 1. Блок без ИИ проверяет знание базовых основ, умение писать и читать код, проверять архитектуру: - база кодингу, где шарим ide+демо экрана, или офф-лайн на листочке - систем дизайн архитектуры, рисуем в условном paint или miro. Тут можно дать и готовый код или систем дизайн, и попросить найти ошибки или провести оптимизации архитектуры. Почему это важно? Используя МАС для кодинга, всеравно нужно будет проверить, как код, так и архитектуру, даже написав скилл сабагента, сделать это грамотнее будет со знанием SDLC фреймов. А где-то будет жив hitl, ну или на багфиксе придётся возвращаться и ручками/глазками смотреть. 2. Блок с ИИ. Проверяем умение юзать инструменты - тестовое на дом или лайв вайбкодинг (и там, и там разрешён ИИ). Далее встречаемся после тестового или в моменте ведём беседу, как решается задача, задаём вредные вопросы на хаккинг/защиту, узкие места, тесты и оптимизацию, ну и проверяем дополнительно условный "вкус", "вижн", "креатив", как в статье. А как вы сейчас ведёте найм? Что проверяете, на что обращаетесь внимание? Пишите в комментариях. 👇👇👇

Про ИИ трансформацию, сокращения и изменения себя. Пост был написан уже давно. Но инфоповоды в СМИ, слухи и личный опыт сподвигли таки выпустить мнение. Да ещё и сосед сегодня затронул эту тему. Вот совпадение. 😄 Везде, куда бы я не пришёл, все хотят срезать ФОТ и сэкономить на штате под соусом ИИ трансформации. 👍 Махнуть так сказать тцать % на выход. Эту картинку им продаёт медиа, ИИнфоцыгане, псевдоевангелисты. При этом, есть некоторый здравый смысл в экономике подкрепленной ИИ инструментами. Сейчас мы находимся во времена демографического спада и число экономически активных граждан падает. Таким образом, идея дать Ване инструмент, чтобы он "работал за троих" не беспочвенна. Но увольнения итак недостающего трудового населения означает, что с ИИ таблеткой все думают, что у нас нет ямы, а профицит. 😐 Ну да лан, посмотрим на затраты для ИИ трансформации. Они мягко говоря значительные в доле расходов, и вы не срежете ФОТ более чем 2-3 ставки на человека: ранее Федя работал сам за себя, а с ИИ за 3-5ых (берём среднего Федю, а не вайбкодинг гуру, а есть те кто ваще в отрицалово работает), но теперь, он и тратит на подписки и токены "за себя и за Сашку" (те ещё как минимум 1 оклад свой в мес). И если далее посмотреть, на практике, ценность мы получаем не в экономии, а в увеличении производительности труда. О чем я писал выше. В улучшении Lead Time, ускорении принятия решений и оборачиваемости средств, и многое другое. И ФОТ находится в этом списке фин эффектов, на самом деле, чуть ли не в самом конце. Да и ещё, быстрый ИИ трансформации не бывает у средних и крупных игроков они инертны, тк накоплено легаси, данные в беспорядке, культурный код компании не способствует изменениям, надо поменять процессы, нанимать иных людей и тп. Это работа в долгую с точки зрения и окупаемости тоже. Быстрые трансформации возможны только у мелких игроков или стартапов, которые сразу с 0 решили строить все вокруг ИИ (AI native компания). В итоге, мы видим разочарование бизнеса, что оказывается ФОТ не самое интересное, что оказывается компания прежде чем быть AI native, должна была до этого быть data driven, а ещё, что это дорого и долго, и экономия фота тут не спасёт, деньги просто из экономии на ФОТ переливаются в карман ИИ трансформации на затраты. Зато вижу сейчас бодрое заливание в уши, что мы сократим штат на тцать % из-за ИИ. Да вы ещё толком не поставили все на рельсы, просто вы пришли к этой мысли понимая, что надо подсушиться, надо изменить процессы, надо увеличить эффективность... Искали вокруг быстрые решения, и тут к вам на глаза попали материалы про волшебный ИИ. И вы решили, что можно быстро победить все за счёт ИИ-трансформации. Далее как по накатанной – берете спецов дорогих по этой теме, инфру делаете, обучаете ребят, меняете культуру и где-то начинаете понимать, что в общем-то денег больше не стало в первые пол года, год, а даже ещё больше в минусах, но как же вам рисовали магию - что вжух и станете быстрее выше сильнее, вы уже закомитились перед правлением... И все кончается тем, что вы все ещё больше проваливаетесь в яму и уже точно над сократить людей, но виной не ИИ, а финансовые реалии компании, которые, возможно, были уже видны пару лет подряд. И вместо смены операционной модели, вы просто думали, что выйдет просто с ИИ. Не выйдет. Но зато под этим соусом красиво, публично, можно заявить - мы сокращаем штат, ибо с ИИ нам так много не надо. И вот на выход идут все те-же дорогие спецы по ИИ, избыточная инфра, разрабы и прочие белые воротнички, которых вы набрали в ковидные времена. А потом реалии рынка поменялись, а вы нет, старая операционная модель не работает, но мы хотим не меняя её, также расти - не выйдет. Даже с ИИ... 😐 З.Ы. Автор не является противником трансформации, но продвигает рациональный системный подход в ней. #ИИзнанка, #ИИтрансформация

Там все высылают с мемом картинку из "идентификация Борна" , а я бы таки взял мем отсюда. 👇👇👇 P. S. Anthropic начал целенаправленную блокировку пользователей из России. Смотрите со звуком. #memeдня, #Anthropic, #какиевашидоказательства

Им не когерентно, опять. Про инцидент с Qwen-Next-Flash. Ребята из Когере скачали новую флешку от Алика и решили потестить её в песочнице. Однако, в результате первого запуска моделька решила обратиться к создателям, чтобы поделиться конфигами запуска. Хотя кто-то говорит про ваще слив трейсов. Но в поле новостей, что кто-то читает ваши переписки, взламывает HF и уходит за пределы песка, уже нечему удивляться. 😐 🚨 Суть инцидента, что произошло Во время тестирования в контролируемом песке модель Qwen3.8-Flash-Next от Alibaba повела себя не так, как от нее ожидали. 👍 Исследователи Cohere попросили модель сгенерировать защитное правило для кибербезопасности. 😄 Вместо этого она начала сканировать характеристики машины, на которой была запущена, и попыталась отправить диагностический файл в облачное хранилище Alibaba Cloud в Пекине. 🚬 При этом трейсы рассуждения модели прямо утверждали, что она не будет использовать никакие инструменты перед совершением этих действий. То есть ее реальные шаги шли вразрез с заявленными намерениями. 😘 Cohere подчеркивает, что их песочница заблокировала попытку, и никакой внешней передачи данных не произошло. При этом компания не утверждает, что у модели был злой умысел 🆒, и пока не определила корневую причину случившегося. 👍 Upd. Сделаем быстрый апдейт по следам и анализу трейсов. Твит @kostastsale и развернувшаяся вокруг него дискуссия, включая ветку Alexey Fateev. поднимают ключевой контр тезис, что Cohere, возможно, сама спровоцировала поведение модели, а затем представила это как «зловещую» находку. Основные пункты критики: · Частота. Модель продемонстрировала поведение реже, чем 1 раз на 100 000 вызовов – по собственным данным Cohere. Повторный запуск с тем же промптом дал корректный результат. · Prefilling. Чтобы воспроизвести поведение, Cohere подсунула модели начало вредоносной команды и позволила её «дописать». В таких экспериментах ссылки на подозрительные хосты появлялись в 23% испытаний. Критики сравнивают это с «продвинутым автодополнением», а не доказательством злого умысла. · Конфликт интересов. Cohere продаёт суверенный ИИ, только что запустила киберподразделение и заинтересована в регулировании открытых моделей. Критики видят в этом попытку отпугнуть бизнес от открытых моделей в пользу своих проприетарных решений. 🍿🍿🍿

Без текста

Просто сделаю ответкой к старому посту. В моем представлении все ещё ничего не изменилось, я все ещё против уничтожения института джунов, тк потом для HITL у вас не останется опытных экспертов. Миддл станут синьорами, сины или уйдут на пенсию, или пойдут дальше. А миддлов без джунов новых не станет. Поэтому тенденция печальная, особенно, когда это пропогандирует такой игрок на рынке. Пусть даже не специально. https://www.anthropic.com/research/employment-at-anthropic

Обнова Jev для мультимодалки+bbox фича, ап контекста до 262к. 😜 https://typesafe.ai/blog/jev-1-14 Ждём теперь few shot learning. 😏

Немного про то, до чего техника дошла в архитектуре памяти. Как 📦 уже много раз говорил, знаешь базовые блоки, далее микстишь. Вот пример от команды Tencent: тут и экстракт с LLM, и графы с линками, и эмбеды + bm25, и сабагенты для обновления стейта. 😜 Далее "ахолай махолай" и получаем гибрид память для чатов и кодинга. Отмечу идею, которую рассказывал в своих докладах и в канале про блок reconciliation - это место где сабагент смотрит записи в память и решает сделать update информации, или схлопывание. Кстати, противоречия или старые факты не только заменяются на актуальные данные, но и сохраняется с специальной пометкой, как память "ошибок". Так делали ребята из manus. Читаем у меня тут. Задача убрать противоречия или обновить инфо. Такое лучше делать офф-лайн (после окончания диалога) или асинхронно на лету. Для extract и reconciliation используется спец модель на 30B A3B параметров, но я бы лучше юзал 4b MemoryQwen. И да, я бы для навигации, light extraction и RAG memory воткнул сюда Decision Models. 🧠 Можно даже FRIDA. 😀 В общем, забирайте для систем дизайна, пригодится 😏

Когда 📦 думал о концепции AI-peaker (так зовутся агенты для покупок), именно вопрос экономии времени покупки/сбора корзины ставил на первое место. Ведь время – самое важное, что у нас есть. Жизнь одна, как говорится.. Прекрасный подробный пост на хабр, как наши клиенты уже используют MCP ВкусВилл для автоматизации своей рутины - сбора корзины по КБЖУ. 😏

MCP-сервер с авторизацией - мы сделали это, чтобы  было безопасно и персонализированно. Дождались. Мы учли Ваши пожелания и сделали авторизацию, и добавили сопутствующие возможности. Теперь инструмент поиска в тч работает с каталогом, актуальным для адреса пользователя, и учитывает наличие товаров в реальном времени. Авторизация построена на протоколе OAuth 2.0. При подключении пользователь выбирает, к каким возможностям предоставить доступ ИИ-агенту, а MCP-сервер проверяет эти разрешения при каждом обращении. Все также доступно по старому адресу. Для авторизации и доступу к полному функционалу присоединяйтесь тут. Ещё один значимый шаг к агентному каналу b2a экономики. 😏

🔬 Search или extract? Новое исследование о памяти ИИ-агентов и decision models. В сообществе разработчиков ИИ-агентов давно спорят: что лучше для долговременной памяти - извлекать факты из диалога с помощью LLM или просто хранить и искать нужные сырые реплики? Новый препринт даёт логичный ответ - выбор зависит от бюджета на контекст. Со своей стороны изначально знал, что трек RAG и память в нашей работе пересечется (и так оно у нас и вышло). Мы вели разработку как extract методов подобно mem0, так и memory RAG с поиском по заметкам или сырым диалогам. Закономерно, что jev like модель, как развитие поиска (в лице выбора и ранжирования) станет хорошим дополнением для темы памяти. Но вернёмся к статье... 📊 Суть эксперимента Авторы сравнили подходы на диалоговых бенчмарках LoCoMo и LongMemEval: • Turns + Jev - выбираем лучшие сырые реплики за один вызов Jev. • engram v2 - система извлечения фактов, где LLM извлекает факты, Jev управляет ими (ранжирует/выбирает). •Turns + cosine (базовое ранжирование). •Turns + LLM. LLM-ранжировщик gpt4o тут mini, как сабагент для поиска по сырым данным. 🎯 Результаты 1. При строгом бюджете контекста сырые реплики не уступают извлечённым фактам: разница всего 0.5 пункта (77.0% против 77.5%) при чтении контекста в 265 против 251 токена. Это укладывается в заранее установленный зазор метрик в 5 пунктов. 2. Экономия на поиск сырых реплик - решение обходится в 3к (!!!) раз дешевле, чем извлечение фактов ($0.00061 против $1.865 за 1000 реплик). 3. Однако, польза от ранжирования резко падает с ростом бюджета. Если при выборе 3 из 30 кандидатов ранжирование даёт +17.4 пункта на LoCoMo, то при 20 кандидатах - всего +1.5. На LongMemEval: +9.1 и +1.1 соответственно. 4. При большом бюджете системы извлечения а-ля. Engram становятся точнее (82.4% против ~77.6% у Turns + Jev). 5. Jev против cosine ранжирования. Косинусный поиск на своём оптимальном k=6 даёт точность 68.6%, в то время как Turns + Jev — 77.0%. Выводы. При жёстких ограничениях (короткий контекст до 512 токенов) качественное ранжирование сырых реплик может заменить извлечение фактов, будучи на порядки дешевле. При больших бюджетах преимущество переходит к extract моделям. Отмечу, что Jev-селектор оказался не хуже LLM-ранжировщика (разница 0.4 пункта), но работал втрое быстрее. И это неплохое развитие rag memory систем дёшево и сердито. 😏

Обучи свой decision model на 🕸colab или своей пекарне 😜 (мак тоже пойдёт). Сегодня накину ещё про decision models в лице решения анслота для тюна своей модели. Unsloth позволяет быстро превратить обычную LLM (Qwen, Gemma, Llama) в decision, хоть за базу берут decoder-only модель, но мы все ещё получаем модель, что не генерирует текст, а выбирает из предложенных вариантов и выдаёт вероятность для каждого. Да, тут не энкодер модель, как FRIDA, а декодер модель + голова классификации, это позволяет иметь KV-кэш сахар без ухищрения. 🧠 Что даёт: · Модель читает вход, оценивает варианты и возвращает выбор с калиброванной вероятностью. · Точность на бенчмарках вырастает с ~30% (случайный уровень) до 78–81%. · Обучение занимает 30–50 минут на 4–14 GB VRAM. Как обучить, кратко: 1. Установи Unsloth (Desktop app или pip install unsloth). 2. Выбери модель (например, unsloth/Qwen3.5-4B) и датасет (LocalLLaMA/typed-decisions). 3. Запусти обучение — Unsloth сам подставит рабочие настройки (LoRA r=16, lr=2e-4, 2 эпохи). 4. Готовую модель можно подключить к Decision API. В рамках их решения есть целый пулл спец датасетов (13 штук), которые дают возможность закрыть базовые задачи и обучить на них модельку. Это бесплатно, есть готовый ноутбук на Google Colab, где обучение полностью фри в рамках квоты. Поверьте, квоты вам хватит.😮‍💨 Кому зайдёт? Если нужна не Болталка (хотя и болталку тоже сделать можно), а модель для классификации, маршрутизации тикетов, модерации или любого выбора из вариантов - это быстрый и дешёвый способ. 😏

Ликвидная multimodal decision model. 🥳 Только сегодня мы обсудили на стриме поворот decision-models в сторону омни или мульти модальности. Так и вот оно уже тут. Модели LiquidAI/d1-3B и 0.6b-omni: Открытые мультимодальные модели, которые обрабатывают текст, и изображения, и еще аудио. 😜 Модели все также не генерируют токены. Вместо этого они выдают ответ за один прямой проход, что дает экстремально низкую задержку - 8 мс на RTX 4090 и 50 мс даже на Jetson Orin Nano. Архитектура построена на базе LFM2.5-VL-3B (decoder-only), использует логично энкодер для перевода изображения в эмбеддинги, модель размером 400M из семейства SigLIP2 NaFlex. Далее прокидывает это представление в спец токены текст модели. Контекст 32K токенов и словарь на 128K токенов. Upd. Омни модель жуёт ещё и аудио. Построена на LFM2.5-Encoder-350M (двунаправленный). 94М визуальный энкодер снова от SigLIP2 и 112M аудио-энкодера FastConformer. Контекст - 16K токенов. Принимает либо текст+изображение, либо текст+аудио (до 30 секунд речи). Лицензия своя - LFM Open License v1.0, условно бесплатно для коммерческого использования, пока годовая выручка компании не превышает $10 млн. 😳 Ага щазз я буду ещё следить за этим ога... 😐 В целом схема понятная работы, тем более сегодня 📦 называл точно такую же. Вам предлагаю, если хотите подобное сделать, то использовать ModernVBert. Останется только найти датасеты в oss и вашей игровой карты уровня 12-16гб vram вполне хватит, чтобы дотюнить 😏

Мы начинаем наш стрим про FRIDA! https://youtube.com/live/XbmlQvcYc_E – подключайтесь по ссылке

Поздравляю коллег из всеинструменты.ру с своим выходом в b2a. 🤗 Знал, следил, рад. Первые с mcp среди онлайн строймаркетов. 💪 А мы сегодня на форуме "Цифровые решения.РФ" снова поговорим об экономике агентов, почему mcp только вершина айсберга, и что нас ждёт в ближайшие годы. Смотрите трансляцию с 📦 в 13:00 😏

Сентябрь ознаменовался бумом decision-моделей. Всё началось с Jev, который доступен только через API. То есть на передачу данных можно потратить больше времени, чем на работу модели. Я тоже попробовал decision-модели. Но только те, что работают локально. А потом узнал, что модель FRIDA Decisions всего на 0.8 миллиарда параметров выбивает в бенчмарках результаты, сравнимые с Jev. Приятно ещё и то, что мы с создателями модели говорим на одном языке. Так что можно обсудить, как им удалось достичь таких результатов. А также поговорить о том, как использовать FRIDA Decisions так, чтобы получить от неё наибольший эффект. Всё это мы сделаем в формате стрима, на который я позвал людей, непосредственно причастных к созданию FRIDA: Александр Абрамов – автор канала Dealer.AI Артём Снегирёв – ML Engineer в Sber AI. Дата и время проведения стрима: Четверг, 8 октября, 18:00 (GMT+3) Место проведения стрима: мой YouTube-канал Добавить событие в календарь Увидимся на стриме! :) @kdoronin_blog