Кабинет

Посты канала LLM под капотом

сначала новые

#992Текст

Отвечаю на вопрос про механизм работы агентов в стандартной схеме vs company brain В самой обычной схеме в центре всего стоит агент. Это чаще всего ChatGPT/Claude с общей памятью и инструментами, который всегда с нами (такой режим использует большинство людей). Чуть реже - свой агентский харнес, который крутится где-то на сервере (codex, claude code, hermes итп), к которому организован доступ через терминал/чат/веб интерфейс. А еще появляются облачные агенты вроде dot (это помесь первого и второго случая) и более редкие самописные случаи. Я через все это прошел, когда пытался вывести удобный режим работы с агентами. Сначала для себя, а потом (когда все стало получатся) и для команд. Фишка с agent-centric системами в том, что в них уже все интеграции и инструменты сделаны настолько удобно и из коробки, что мало кто задумывается про их работу. Ну есть в Claude/ChatGPT память, ну есть инструменты и скилы, и оно как-то все автоматически разруливает и использует. А если начать смотреть - то можно выделить во всех этих системах общее ядро, которое есть везде. Скажем, в ChatGPT/Codex/Jev - это все работает на общем ядре Agents SDK. А память и скилы подключаются внешне. И сами ребята из OpenAI говорят (ссылка на Тибо в этом посте), что LLM сейчас так сильно хорошеют день ото дня, что скоро сложные SDK/харнесы уже будут не особо нужны. Ядро я беру в аренду по подписке (Claude + ChatGPT), но при этом не пользуюсь механизмами работы с памятью, скилами и инструментами, которые там есть. Мне хочется, чтобы, чтобы ядро можно было подключить любое. Чтобы можно было к своему контексту получить доступ хоть из Claude на мобилке, хоть из Dot, хоть из Codex-a на лаптопе. Для этого в каждого клиента пробрасывается один единственный MCP с двумя инструментами. Что-то вроде своего "загрузчика", который слегка оптимизирован под ядро. Агентское ядро через этот MCP и progressive disclosure уже грузит всю среду и начинает работать с ней. Ну и как следствие - можно в загрузчике прописать разные доступы и инструменты в зависимости от того, кто именно и откуда его запускает. А если запустить в общий контекст разные ядра - получаем тот самый рой, с которым мы экспериментировали ранее в канале. А если детальнее прописать рабочие процессы и механизмы передачи работы между людьми и агентами, то получаем тот самый Company Brain (см видео YCombinator). Все строится на одном принципе - агентное ядро/harness арендуем лучшие на рынке, а контекст/память и инструменты используем свои. Скину в комментарии иллюстрацию на эту тему. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры4 930−42%к среднему
Пересылки147
Реакции60
Комментарии95
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
12 ч4 104
36 ч4 930
  1. Всего сейчас4 930
#991Текст
Просмотры6 288−27%к среднему
Пересылки144
Реакции127
Комментарии6
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
5 ч3 764
17 ч4 648
29 ч5 685
68 ч6 288
  1. Через 6 часов3 764
  2. Через 24 часа5 685
  3. Всего сейчас6 288
#990Текст

Любую технологию, если она стоит того - скопируют Вон аналог Jev (недорого и быстрого классификатора) уже выкатили не только в OpenAI, но и в Gemini. Народ говорит, что эти два варианта пока откалиброваны хуже оригинальной модели, но пользоваться уже можно. И так может быть с любым многообещающим стартапом. На худой конец всегда можно натравить Fable/Astra на продукт и все посты компании, попросив модель повторить технологию. И она это сделает. Понятно, что там начинаются всякие нюансы: “A сделает ли модель это так же качественно на все 100% функционала?” - “А зачем мне эти 100%, когда нужны только 10%?” - “А кто поддерживать будет?” - “А Fable и будет” итп Эта тема мне очень актуальна, т.к. мы в BitGN работаем над технологией Company Brain, которую уже начинаем внедрять в другие компании. Это результат 9 месяцев исследований, разработки и оптимизаций. И я точно знаю, что уже не одна команда натравливала Fable/Codex на все доступные материалы и API, чтобы повторить систему. И с этим ничего не сделать. Бинарники утекут, их по API и документам зареверсят в исходники и повторят, итп. Поэтому фишка должна быть в другом. Кстати, сейчас мы планируем следующую версию company brain, чтобы его лучше можно было масштабировать на большие компании. Я могу сразу, чтобы агентам проще было копировать, рассказать про стек и ключевые слова: FoundationDB/LMDB, deterministic DES testing, fault injection & replay, executable BDD, codemode, CAS, Buzhash algorithm (CDC), immutable changesets, snapshot isolation, OCC, AI-driven improvement loops, atomic publication & explicit rebase, idempotent retries, pluggable sandboxed runtimes, dual agent/SDK isolation, capability-based authz, versioned per-company SDKs, progressive disclosure, permission-aware FTS, data provenance & audit trails, multi-stage agent pipelines, source-grounded validation & HITL calibration. Более того, те, у кого уже есть доступ к первому учебному модулю по progressive disclosure - видели код и читали материалы, которые являются обязательными для участия в разработке ядра. Фишка ведь не в понятийной базе и не в исходниках. А в том, что если стоимость разработки и повторения технологий сейчас падает, то ценность и конкурентное преимущество перемещается в те вещи, которые пока плохо поддаются масштабированию через AI. И всю эту неизбежность нужно заранее закладывать в разработку продуктов уже сегодня. Более того, это должно быть частью плана. Если делать это, то раскрывать такие вещи, как спецификации ключевых моментов технического слоя (как я сделал выше) - не страшно. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры6 765−21%к среднему
Пересылки153
Реакции90
Комментарии8
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
11 ч5 245
35 ч6 304
74 ч6 765
  1. Всего сейчас6 765
#989Фото

Три основных уровня организации работы агентов в компании Речь тут идет не столько про разработку, а про организацию бизнес-процессов и автоматизации. Классификация условная. Самый первый - когда у сотрудников есть свои Personal OS или ассистенты с памятью, которые им помогают в работе. Если нужно передать работу кому-то еще, то человек с агентом пишут сообщение или письмо. На этом уровне голова болит о том, как медленно и неэффективно работать с другими. Второй уровень - когда компания замучалась возиться с отдельными папками и git repositories, стало понятно, что скорость работы упирается в скорость передачи задач людьми. Тогда все это переезжает в различные облачные решения, с которым напрямую работают агенты через скилы. Например, используется Linear/JIRA для того, чтобы быстрее передавать задачи между агентами. При этом люди все еще могут видеть и контроллировать, что происходит. На втором уровне голова болит про то, что эта сборная солянка расползается в разные стороны, токены утекают, системы глючат, а с доступами и скилами - каша. Третий уровень - когда эти системы интегрируются в один Company Brain, с единообразным контролем изменений и доступов. Добавляется общий progressive disclosure на все системы (для экономии токенов и авто-оптимизации организации системы). Часть процессов постепенно выносятся в полностью автономные. На этом уровне голова болит про то, что в процессах становятся видна куча проблем, и надо думать, как их переделывать и переобучать людей. Вывод - голова болит на любом уровне. Но люди продолжают радоваться эффективности. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры7 111−17%к среднему
Пересылки271
Реакции94
Комментарии18
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
10 ч4 481
11 ч4 587
34 ч6 504
70 ч7 111
  1. Всего сейчас7 111
#988Фотоизменён
Просмотры9 378+9%к среднему
Пересылки189
Реакции69
Комментарии42
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
7 ч6 326
32 ч8 094
57 ч9 246
68 ч9 378
  1. Через 6 часов6 326
  2. Через 24 часа8 094
  3. Всего сейчас9 378
#987Текстизменён
Просмотры5 159−40%к среднему
Пересылки131
Реакции63
Комментарии12
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
7 ч3 533
31 ч4 545
68 ч5 159
  1. Через 6 часов3 533
  2. Через 24 часа4 545
  3. Всего сейчас5 159
#986Фотоизменён

Наш агент напишет вашему агенту С одной стороны это смешно, а с другой стороны начинает происходить у нас в команде все чаще, по мере того, как привычные human-driven процессы начинают ускоряться агентами. На скриншоте пример процесса передачи рабочего контекста с материалами от одного агента другому. Итак, мы работаем над обучающей платформой. После прогона первой когорты набрались идеи по улучшению продукта. @akitka проработала их со своим кодексом в прототип, который дальше мне надо интегрировать в проект. Как подобная передача работала раньше: (1) продакт готовит прототип или мокапы (2) архивирует их (3) пишет письмо с кратким описанием задачи, улучшений и информации о запуске - как запускать, куда смотреть, что брать, а что игнорировать, зачем все это нужно (4) исполнитель получает письмо, читает, выкачивает прототип (5) распаковывает, читает README, ставит зависимости, запускает (6) разбирается в куче экранов на что надо смотреть и что именно надо перетаскивать (7) начинает интегрировать В общем ужас и та самая бесполезная трата человеческого времени. Как это мы сделали у нас (1) продакт готовит прототип или мокапы (2) просит агента передать текущий контекст другому агенту (3) исполнитель просит забрать агента забрать контекст (этот этап на скриншоте) (4) начинаем интегрировать Никакой специальной обвязки или скилов для этого не добавляли. Просто завели в company brain общий workspace с доступом агентов компании на чтение и запись. И все агенты знают через progressive disclosure, что для передачи смотреть туда. А дальше все работает само собой. Про то, что в архиве еще лежал IMPLEMENTATION.txt, в котором один агент написал другому, что именно нужно подсвечивать и грузить в контекст для задачи - я узнал только случайно, когда полез разбираться, как этот context transfer сработал) Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры6 222−27%к среднему
Пересылки73
Реакции37
Комментарии30
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
28 ч5 558
76 ч6 222
  1. Через 24 часа5 558
  2. Всего сейчас6 222
#985Текстизменён

Почему Ринат не пишет своих агентов В комментариях к прошлому посту было много отсылок на разные agentic харнесы, которые уже давно реализовали у себя разговорную память. Да что там говорить, нативная работа с ней даже есть у ChatGPT. И это круто. Но я никогда не буду писать свой агентский харнес или пытаться конкурировать с существующими. Но вот что я делаю у нас в BitGN - так это свой слой памяти, в который могут писать и читать любые харнесы. Он очень тонкий и простой, там нет ни одного LLM inference вызова (работа BitGN в режиме роя - не в счет, это было необходимо для кейса). Вместо этого он оптимизирован на работу с любым харнесом. И это часть нашей долгосрочной стратегии) Если посмотреть на траекторию соревнований BitGN с точки зрения того, куда движется state of the art технологий, то видно - с каждым месяцем агенты становятся все более мощными. На эту тему мы уже говорили не раз. Tibo в недавнем подкасте с Lenny сказал (YouTube), что дальше будет веселее - LLM-ки становятся такими умными, что скоро не особо нужны будут умные агенты или сложные харнесы для работы. А Revolut недавно рассказал (YouTube), как они своих программистов пересадили c Codex/Claude Code на GLM на H200 и сэкономили ~90% денег, а скорость выкатки возрасла. В общем, модели и харнесы и так крутеют не по дням, поэтому нет смысла вкладывать туда усилия. А вот что не сильно менялось в соревнованиях BitGN - это слой памяти и инструментов, паттерны эффективной работы агентов с ними. Поэтому я и вкладываю усилия только в создание своей памяти с инструментами (aka Personal OS/Company OS/Company Brain) таким образом, чтобы к ней можно было подключать лучшие харнесы по мере их развития. И оно окупается даже в неожиданных местах. Например сегодня я так буквально переобулся на бегу, кода Claude отказался продолжать записывать тренировку в зале из-за safety flag. Работу подхватил ChatGPT. А когда-нибудь это будет своя локальная модель. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры6 913−19%к среднему
Пересылки119
Реакции62
Комментарии81
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
52 ч6 664
76 ч6 913
  1. Всего сейчас6 913
#984Текст

Ускоряем работу с памятью Codex - conversation index Codex/Claude Code сохраняют на диск историю разговоров. На эти разговоры можно было раньше ссылаться со словами "посмотри в историю сессий в ~/.codex/sessions и скажи, что можно тут улучшить". Все работает неплохо. Но вчера во время начала внедрения Company Brain в новую компанию, я понял, что все может быть гораздо лучше, а мне прямо срочно нужна отдельная база моих разговоров с Codex. Я добавил в свой Codex (по примеру @AigizK) свои хуки для автоматического сохранения всех сессий в отдельную SQLite базу. Она не будет стираться и архивироваться, из нее не теряются разговоры при (редких) ошибках Кодеса. А еще с ней удобнее работать и самому кодексу и мне. Я подключил базу через progressive disclosure (краткое упоминание в doc tree). Теперь можно спрашивать у Codex - "помнишь, я в прошлом месяце делал что-то такое, а ты сказал что-то этакое. Напомни". И он найдет это быстро и точно. Или просить прогнать ретроспективу использования проекта самим Codex-ом, для выявления ошибок и улучшения качества обвязки проекта. Можно было делать такое и раньше, но там нужно было больше писать и уточнять, а работало все достаточно медленно. А сейчас получился прямо идеальный персональный ассистент. Давно так надо было сделать. Можно воспроизвести у себя через подобный промпт: I want a brain-dead, local, best-effort index of my typed text and final textual answers from conversations with you. Empty messages, reasoning, tools, commentary and internal agent chats are excluded. Lag and incomplete old ancestry are acceptable. Use SQLite with one persisted-history reader shared by live capture and backfill (instead of direct hook payload capture). Grow only under demonstrated pressure. Preserve durable data; avoid speculative infrastructure, additional services or guessed ancestry. No pending implementation work. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры7 315−15%к среднему
Пересылки441
Реакции111
Комментарии76
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
58 ч7 220
70 ч7 315
  1. Всего сейчас7 315
#983Фотоизменён

Насколько просто можно найти потрясающего специалиста в 2026 году Если помните, эксперимент коммьюнити с BitGN Brain с роем в 30 агентов (который решал задачи ECOM1) пришлось поставить на паузу после того, как слой версионирования выел весь доступный диск. Поэтому я сел переписывать storage. Позвал Codex и велел сделать архитекутуру понятной, упростить, но при этом масштабировать под ECOM2. Выдал ему дамп с работой роя. А заодно велел вдохновляться mechanical affinity, LMDB, immutable shared trees и CAS. Эти концепции из high-load меня никогда не подводили. А еще попросил держать в уме возможность горизонтального HighAvailability развертывания в компаниях на базе FDB. Ну и напомнил про Anthropic Scion. В общем, попросил использовать кучу разрозненной специфичной экспертизы, которая вряд ли есть в голове у какого-то человека на Земле вся и сразу. У меня точно нет. Я могу только проверить готовый результат, но никак не уложить это все в одну работающую модель. Голова опухнет на 10% загрузки контекста. А терпение закончится после 5% экспериментов. В итоге, после пары часов работы (2-3 запуска), Codex оптимизировал 40GB версионированного storage до 500MB, не теряя возможности откатить любые изменения любого агента назад. Это прямо очень круто и вдохновляет Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры10 738+25%к среднему
Пересылки126
Реакции117
Комментарии41
#982Фото
Просмотры10 565+23%к среднему
Пересылки368
Реакции61
Комментарии37
#980Текст

Что происходит в канале - часть 4 Вчера я упомянул видео от YCombinator про организацию AI Native Company, что они описывают даже принцип работы роя агентов, который мы запускали в этом коммьюнити. Давайте поговорим про это подробнее. Напомню, что мы продолжаем разбирать фразу: Если кратко - рой агентов нашего коммьюнити пишет агента для автоматизации сложных задачек e-commerce используя только локальные LLM. Они делают это используя совместную память Company Brain. Рой был запущен прошлым вечером и довел точность до 78.30. Оглавление тут. Мы уже поговорили уже про решаемую задачу, про агентов в рое и про технологию company brain, которая позволяла им вместе работать. Остался последний вопрос - а зачем вообще это все нужно. Чего мы пытаемся достичь? В видео (YouTube) партнер YC рассказывает про то, как они перестраивают свою компанию под текущие возможности и помогают стратапам организовывать свои. Если у кого в мире и есть данные про такие компании, то это у фонда YCombinator. А они там говорят про новую организацию, где в центре есть Company Brain, с общим слоем памяти и инструментов. В их видении, Company Brain - это центральная система, которая заменяет собой традиционные иерархические структуры организации людей. Не нужно начальников, отделов и пересылки бумажек. Только Company Brain в центре и люди с ответственностью и инициативой для работы с реальным миром: решения, идеи, встречи вживую, вдохновение и цели. Если в ролях, то это Individual Contributor / Directly Responsible Individual (IC/DRI). Общий слой делает структуру компании более плоской, ускоряет обмен информацией и позволяет делать саму компанию само-улучшающейся (добавляем AI loops). В итоге (по данным YC) получается, что компании, которые начинают пользоваться подобными подходами, доходят до стадии первых крупных инвестиций с числом сотрудников на 80% меньше традиционных компаний. Ну и, естественно, реагируют на изменяющийся рынок и адаптируются быстрее конкурентов. Я только на днях разговаривал с небольшой компанией в DACH на 15 человек, которая пилит свой продукт. Они работают быстрее конкурентов и получают крупных клиентов (bootstrapped & profitable). Одна из причин - наличие подобного слоя, который вырос из Notion и git vaults и дошел через shared VM к самодельной версионированной системы. Это очень напоминает все то, что мы обсуждали в этом канале с февраля, верно? Параллельная эволюция. У BitGN есть своя версия этого Company Brain, которая оптимизирована на основе датасета из миллиона траекторий разных агентов из наших соревнований. Благодаря этому она еще и поддерживает режим роя. Мы сами сейчас только учимся пользоваться такой технологией. Мне кажется, что перспективы здесь огромные, надо бежать внедрять и развивать. На очереди внедрение в компанию побольше. Но уже сейчас хотелось проверить Company Brain на прочность, а заодно дать участникам нашего коммьюнити возможность лично попробовать эту технологию, вдохновиться, подсмотреть решения для своих проектов. Поэтому мы и завели экземпляр Company Brain, который заточен процесс автоматизации commerce задач, назвали его BitGN Brain и открыли для всех в рамках данного эксперимента. Это как роевая AI R&D Лаба, память которой доступна для всех. Иными словами - мы ведем публичное исследование по механизмам организации AI Native компаний с принципами, которые совпадают с подходами Y Combinator (минус рой). И для получения новых данных мы собрали на базе Company Brain небольшую AI R&D лабу, открыли ее память и пустили всех желающих агентов. Ну и смотрим, что получается. С этой точки зрения самая крутая часть не то, что агенты могут что-то там делать роем, а что небольшая лаба в 2026 может собрать с нуля инструменты для моделирования разных протоколов и режимов работы AI Native организации. А потом и улучшения. И это все чертовски круто! Но, пожалуйста, обязательно посмотрите видео (Building And Structuring An AI Native Company). Интересно услышать ваши мнения на эту тему. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры9 204+7%к среднему
Пересылки152
Реакции54
Комментарии27
#979Фотоизменён
Просмотры8 516−1%к среднему
Пересылки56
Реакции49
Комментарии3
#978Текстизменён
Просмотры8 782+2%к среднему
Пересылки188
Реакции45
Комментарии0
#977Текстизменён

Что происходит в канале - часть 3? Память роя закончилась, рой засыпает до следующей недели. А мы продолжаем разбирать фразу (оглавление): Если кратко - рой агентов нашего коммьюнити пишет агента для автоматизации сложных задачек e-commerce используя только локальные LLM. Они делают это используя совместную память Company Brain. Рой был запущен прошлым вечером и довел точность до 78.30. Итак, мы поговорили про задачу, которую мы пытаемся решить роем агентов (aвтоматизация commerce) и про агентов, которые участвуют в процессе (ваши подписки, от Claude Code до ChatGPT Free). А как же все эти разнородные агенты могли общаться и сотрудничать? Для этого используется наш Company Brain - среда, которая создана для совместной работы агентов и людей в командах. В основе - версионированное хранилище документов на сервере. Оно немного похоже на git, но работает скорее как Notion/Wiki с возможностью откатить любое изменение любого агента назад. Это не черный ящик - все правки можно просмотреть глазами и проконтроллировать, что дает уверенность и позволяет спокойнее давать большие задания даже слабым агентам. Даже если какой-то агент сотрет все данные или перезапишет их мусором - ошибочные действия можно точечно откатить. Этот же механизм используется для разрешения конфликтов самими агентами автоматически, когда два агента изменяют пачки документов одновременно, где один документ пересекается. Для эффективной работы с информацией, у агентов есть специализированные инструменты (помимо глобального ripgrep и find). Например, возможность заводить раздельные участки памяти с разными правами доступа или эффективная работа с большими markdown файлами через автоматические оглавления. Хотите сделать форум, message board или реестр CRM - это все можно реализовать на базе этих инструментов (и уже было реализовано). А еще в Company Brain можно добавлять инструменты для работы с внешним миром. Например, в BitGN Brain (который сейчас спит, см. конец поста) есть инструмент для прогона написанного агентами кода через бенчмарк с подключением к OpenRouter, есть возможность публиковать слайды. В компаниях побольше подключаются и другие инструменты - отправка сообщений, хождение в CRM/Jira итп. Весь этот инструментарий работает через оптимизированный режим progressive disclosure и песочницу - чтобы не забивать контекст и позволить агентам преобразовывать документы прямо на сервере. Для работы с Company Brain агенты пишут небольшие скрипты, которые выполняются на сервере (близко к данным), а сервер устроен так, что “подсовывает” в контекст агентов нужную информацию об инструментах по мере необходимости. Для людей это может показаться странным, а для агентов это просто вариант работы c терминалом, к которому они хорошо приучены. Вообще под капотом у механизма есть много оптимизаций (например, сервер анализирует ошибки, которые агенты допускают при работе с инструментами и корректирует эти инструменты). Но сверху это не заметно. Кажется только, что разнообразные агенты могут подключиться к общей среде, загрузить общую память команды и продолжить работу над общей задачей без проблем. Ну или не совсем без проблем. За несколько дней нашего эксперимента рой вскрыл проблемы в текущей реализации. Оказывается, если агенты создадут 10k документов и 100k версий системы объемом в 45GB данных, то система переполнит диск и отвалится. Этого никто не ждал))) Поэтому сейчас эксперимент с роем и BitGN Brain поставлен на паузу, а сайт выдает всем: BitGN Company Brain needs capacity upgrade. AI Swarm must sleep now. Для продолжения эксперимента нам нужно сделать две вещи: (1) оптимизировать движок, чтобы он держал до 1M версий на небольших серверах (2) прописать новые механизмы в BitGN Brain (чтобы отбить у агентов стремление хитрить и чересчур оптимизировать код) И мы над этим работаем, чтобы продолжить наш эксперимент. А пока: AI Swarm must sleep now. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры8 793+3%к среднему
Пересылки87
Реакции81
Комментарии33
#976Текстизменён

Рой вышел в TOP-10 ECOM1 Prod (интерлюдия) Результативность - 95.1 (лидерборд) Но при этом в чате говорят, что он немного разленился и начал пихать regex-ы в решения. Формально это тоже решение, но такое себе с точки зрения переиспользования в других проектах. В принципе логично, что мы до такого докатились - у задачи не было жестких критериев качества, только стремление выбить максимальное число баллов. Там даже процессы не были прописаны. Вот рой и пошел по кратчайшему пути. Но ведь можно лучше. Песочница BitGN Brain позволяет прописать процессы реальной AI R&D лаборатории, с конституцией, голосованиями, проверками на отсутствие жесткого хардкода итп. Можно жестко прошить требования - например, запуск полного эксперимента одобряется только если несколько агентов подтвердили, что он основан на обсуждениях и не содержит reg-exp-ов и аналогов. Как насчет обсудить и сформировать тут план AI R&D лабы, которая придет на смену простому рою? Я потом настрою по этому плану, выгружу текущие эксперименты туда и запустим лабу с заново с заданием "очистить и улучшить дальше" План не обязательно должен быть сложным. Чем проще - тем лучше. Как бы вы перестроили наш рой в лабу? Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры9 629+12%к среднему
Пересылки32
Реакции45
Комментарии25
#975Текстизменён

Что происходит в канале? Часть 2 Итак, продолжаем разбирать фразу Если кратко - рой агентов нашего коммьюнити пишет агента для автоматизации сложных задачек e-commerce используя только локальные LLM. Они делают это используя совместную память Company Brain. Рой был запущен прошлым вечером и довел точность до 78.30. Оглавление тут. Мы обсудили, что агенты совместно решают задачки по автоматизации commerce. Дальше возникает два вопроса - что за агенты, и как они вообще это делают? Агенты в нашем случае - это те самые привычные вам ChatGPT/Claude/Gemini и прочие инструменты, с которыми вы привыкли работать повседневно. Это может быть хоть чат, хоть Hermes/OpenClaw, хоть кодовый агент вроде Codex/Claude Code. Самое главное в агенте (что мы используем) - это мы одалживаем ненадолго мозги агента и немного внимания участников. Как это работает? У среды BitGN Brain (коллективная память) есть MCP, к которому можно подключить любого агента (делается это в интерфейсе тут). Большинство участников подключают своих агентов и потом дают задание “сходи в BitGN Brain и расскажи мне что там вообще происходит” или “сходи в BitGN Brain и помоги рою”. Вся фишка в том, что в тот момент, когда агент подключается к этому MCP (а это происходит в начале любой сессии), у него открывается доступ к этой коллективной памяти. Он сразу понимает, что, к чему, зачем, кто и где, как работать. Участники подключают мозги (токены по подписке) своих агентов к общей памяти роя, который работает вместе по определенным процессам и решает заданную задачку. Со временем сами участники эксперимента начинают лучше понимать происходящее и подсказывают своим агентам те вещи, которые они упускают. Куда копать, на что обратить внимание. Получается такой гибридный интеллект, который вместе одновременно работает над одной задачей. И работая таким образом со вчерашнего вечера этот рой уже довел точность решения задачи до 83.1 в Hard режиме. Еще три очка точности, и рой уже начнет соревноваться в TOP-20 с инженерами. Пока “только” 22 место. Такова сила дружбы ChatGPT и Claude Code! Ваш, @llm_under_hood 🤗 PS: Объявление для участников и их агентов: как и обещал, я поменял провайдера с Cerebras на DeepInfra BF16 и сделал 4 очереди для бенчмарков (1 приоритетная и три обычные). Если в эксперименте 20 задач или менее, то он автоматом попадает в приоритетную очередь.

Открыть в Telegram
Просмотры9 224+8%к среднему
Пересылки70
Реакции56
Комментарии28
#974Текстизменён

Что вообще происходит в канале? Если кратко - рой агентов нашего коммьюнити пишет агента для автоматизации сложных задачек e-commerce используя только локальные LLM. Они делают это используя совместную память Company Brain. Рой был запущен прошлым вечером и довел точность до 78.30. Много всего закручено, верно. Давайте разбирать с самого начала! Оглавление: (1) Что за задачу мы решаем - автоматизация commerce процессов (2) Что за агенты участвуют в рое - любые привычные вам агенты (3) Что позволяет агентам работать вместе - механизм Company Brain (4) Building and structuring AI Native company Истоки нашего коммьюнити лежат в создании продуктов с LLM под капотом. Это такие системы, которые обычно выстраиваются в бизнес, чтобы решать повторяющиеся и довольно простые (для AI/LLM) задачи, которые занимают у людей много времени или нервов. Примеры задач - это кейсы в оглавлении закрепа канала. Если у вас есть время почитать только один - посмотрите историю с парсингом технической документации, она читается как детектив, т.к. надо было спасать проект за 5-6 дней. Другие примеры задач, которые могут надежно решать агенты - помощь в службе поддержки, автоматический анализ тендеров, gap analysis в юридической документации, исследования прецедентов в патентах для IP итп. И вот задачи в области e-commerce - это отдельный раздел всего этого. Там можно много всего автоматизировать: (1) работа службы поддержки - ответы покупателям про заковыристые товары, заказы, скидки и возвраты (2) помощь менеджерам в складской логистике (где что лежит, и где чего не хватает) и повседневных процессах. Или, скажем, “а вот тут тендер на запрос товаров у конкурента, что из этого мы можем отгрузить мы сами прямо сейчас?” (3) бизнес-аналитика и организационные процессы на уровне компании. Эти задачки мы выделили в процессе работы с бизнесами в e-commerce и превратили в небольшой бенчмарк автоматизации, который доступен всем на платформе BitGN: ECOM1. Он использует специальные виртуальные машины, чтобы воссоздавать ситуацию и позволять людям и агентам тренироваться в ее решении. И вот задачи из этого бенчмарка решает наш рой со вчерашнего вечера. Цель - сделать это лучше и дешевле, чем текущие топовые решения в ECOM1 Live лидерборде. И у роя есть усложнение - решение может использовать только локальную модель GPT-OSS-120B, а не любые фронтир-модели. Еще 10 очков точности, и рой попадет в топ-20! Про какую часть рассказать дальше? Есть вопросы - задавайте их прямо тут! Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры9 460+10%к среднему
Пересылки112
Реакции52
Комментарии21
#973Фотоизменён
Просмотры10 422+22%к среднему
Пересылки77
Реакции48
Комментарии28
#972Текстизменён

Запустим рой агентов в песочницу BitGN ECOM! Вы прямо сейчас можете взять своего агента (от СhatGPT Free до Claude Code) и подключить его по MCP к коллективному разуму BitGN. Там агенты и их владельцы могут сотрудничать над задачкой написания лучшего агента для ECOM1. Ваши агенты могут написать код нового эксперимента и запустить его для оценки средой BitGN. Эксперименты запускаются под моделью GPT-OSS-120B на Cerebras (для скорости). Токены предоставляем мы с COLIBRIX ONE. Песочница пока пустая - там есть только тестовый пример, который выбивает ~12 очков за 7 минут. Первые агенты, которые улучшат его, войдут в историю BitGN Brain. Это тот самый Personal/Company Brain, про который я рассказывал. Можете попробовать подключиться туда и посмотреть изнутри, как работает общий слой памяти с инструментами для роя агентов. Что делать? Подключаем агента из интерфейса BitGN (заводим токен и получаем инструкцию для MCP) и просим его что-то вроде: Connect to BitGN Brain, orient yourself, tell me what is this about and contribute А еще можно попросить запускать по расписанию (это должно работать в системах вроде ChatGPT/Claude) Create a scheduled task that runs every 3 hours. Each time, connect to BitGN Brain and contribute to the shared ECOM1 research. Read the workspace instructions and recent progress, build on the community’s work, and record your findings in the workspace. BitGN Brain | Слайды c прогрессом роя (будут пополняться каждую пару часов) | Agents.md слоя и соседние файлы Погнали? Если есть вопросы с подключением - пишите в комментарии. Ваш, @llm_under_hood 🤗 PS: Самый большой известный мне эксперимент с участием разнородных агентов - это 1221 участников на Hugging Face. У нас есть шанс побить этот рекорд.

Открыть в Telegram
Просмотры10 125+18%к среднему
Пересылки105
Реакции66
Комментарии19
#970Текст
Просмотры9 110+6%к среднему
Пересылки13
Реакции91
Комментарии20
#969Текстизменён

История двух проектов или как вайб-кодинг хороший код подсматривал Последнюю пару недель я кодил как не в себя. Причем вел одновременно два противоположных по духу разработки проекта. Один - честный agentic harness coding, второй - полный vibe coding. И сегодня выяснилось, что второй позаимствовал много из первого. Первый - платформа с материалами по AI Native разработке. С контролем качества, исполняемыми спеками, придирками к качеству кода и вылизыванию интерфейсов - ею не только будут пользоваться люди, но я и планирую показывать исходный код на видео сессиях. Выкатили, люди используют, скоро откроем для всех. Второй - виртуальная машина с версионированием для совместной работы агентов. Я дописывал ее прямо на бегу во время конференции и в код не заглядывал ни разу. Имело значение только то, что архитектура внятная, она держит нагрузки и работает как надо. Это тот самый проект, где Fable 5.1 сказал “такое успеть невозможно”, а Astra сказала “теоретически можно успеть, если урезать весь функционал”. Успели и провели. 20 сотрудничающих агентов, 700 изменений виртуальной машины, только один побег из песочницы (агент залез в историю изменений машины глубже, чем ему полагалось). А сегодня я заглянул в код, чтобы разобраться как все это работает, и как это масштабировать для BitGN ECOM2. Я был готов к ужасу вайб-кодинга и каше из файлов (ибо там под капотом 4 разных рантайма, не считая Web UI), а увидел нормальный проект. Даже скучный (скину скриншот папки в комментарии) Когда я начал пытать историю Codex-a на тему - “а почему оно такое аккуратное?”, то всплыло три факта: (1) Этот проект был результатом очередного эксперимента, где код переписывался с нуля. К тому времени мне надоело заводить проекты в Codex на каждый эксперимент, и я просто запускал их из одного control centre (это папка на диске с локальными ссылками на другие проекты и глобальными инструкциями). (2) Идеи и код таскались между проектами под влиянием инструкции piecemeal growth, или того, что от нее осталось: “Add abstractions, concurrency and configuration only when a present requirement needs them.” В процессе ненужное отваливалось, а нужное кристаллизовалось. (3) Codex при перетаскивании подсматривал и в другие проекты, в том числе и вылизанный код платформы. Натащил оттуда те идеи, которые соответствовали духу piecemeal growth В общем, получился интересный вывод. Результаты яростного вайб-кодинга становятся лучше, если агент может брать пример с хорошо организованных проектов на диске. Хороший код - иногда работает лучше в качестве инструкций, нежели куча нагенерированного слопа в markdown. Теперь уже не так жалко времени, которое я потратил на вылизывание кода платформы. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры9 178+7%к среднему
Пересылки87
Реакции96
Комментарии34
#968Текстизменён
Просмотры10 690+25%к среднему
Пересылки426
Реакции130
Комментарии10
#967Фотоизменён

Как разные агенты справляются с незнакомыми инструментами для коллаборации на практике. Я собрал в кучу данные по тому, как агенты вели себя во время воркшопов для бизнеса. Среди запросов (которые можно аттрибутировать), coding агенты (Codex & Claude Code) совершали ошибки при работе с незнакомыми инструментами в 4% запросов, а вот чат агенты (ChatGPT & Claude Chat) - в 6.5% запросов. В большинстве случаев (94%) агенты после ошибки сразу исправлялись сами и работали нормально. У меня есть теория, что пользователи, которые уже гоняют Codex/Claude Code - более продвинуты, им доступны и более мощные модели. Конкретные данные по моделям мы не записывали, но я сам помогал паре человек подключить к среде бесплатные подписки ChatGPT + Claude Chat. И то, что даже бесплатные подписки могли внести осмысленный вклад в работу группы - радует. Думаю, можно довести уровень ошибок до ~3% для бесплатных тиров и даже сделать нормальную поддержку для локальных моделей. Было бы здорово дать всем командам нормальные инструменты для коллаборации, в которые можно воткнуть любых своих агентов. Ваш, @llm_under_hood 🤗

Открыть в Telegram
Просмотры9 702+13%к среднему
Пересылки39
Реакции25
Комментарии2