Account
LLM под капотом

LLM под капотом

Канал про разработку продуктов на базе LLM/ChatGPT. Выжимка важных новостей и разборы кейсов. Чтобы писать - напишите боту @llm_under_hood_bot Рекламы в канале - нет. За комменты от ботов баним вместе с хозяином.

Username
@llm_under_hood
Category
Technologies
Country
RussiaRussia
Created
, 3 years
Subscribers30,406+215 last week
Avg views per post, 7d6,894+7.7% vs prev 7d
ERR22.67%last 7 days

Subscribers, 30 days

Nov 6 – Nov 16+270 (+0.9%)

Show as table
DateSubscribers
Nov 6, 202630,136
Nov 7, 202630,150
Nov 8, 202630,166
Nov 9, 202630,191
Nov 10, 202630,227
Nov 11, 202630,263
Nov 12, 202630,289
Nov 13, 202630,315
Nov 14, 202630,342
Nov 15, 202630,376
Nov 16, 202630,406

Average views per post by day

By publication day

Show as table
DateAvg views per post
Oct 19, 202610,196
Oct 20, 20269,428
Oct 21, 202610,274
Oct 22, 20269,342
Oct 23, 20269,629
Oct 24, 20268,793
Oct 26, 20268,649
Oct 27, 20269,204
Oct 28, 202610,565
Oct 29, 202610,738
Nov 4, 20267,114
Nov 5, 20266,222
Nov 6, 20265,159
Nov 9, 20269,378
Nov 11, 20267,111
Nov 12, 20266,527
Nov 13, 20264,930

Most viewed this month

  1. 01

    Насколько просто можно найти потрясающего специалиста в 2026 году Если помните, эксперимент коммьюнити с BitGN Brain с роем в 30 агентов (который решал задачи ECOM1) пришлось поставить на паузу после того, как слой версионирования выел весь доступный диск. Поэтому я сел переписывать storage. Позвал Codex и велел сделать архитекутуру понятной, упростить, но при этом масштабировать под ECOM2. Выдал ему дамп с работой роя. А заодно велел вдохновляться mechanical affinity, LMDB, immutable shared trees и CAS. Эти концепции из high-load меня никогда не подводили. А еще попросил держать в уме возможность горизонтального HighAvailability развертывания в компаниях на базе FDB. Ну и напомнил про Anthropic Scion. В общем, попросил использовать кучу разрозненной специфичной экспертизы, которая вряд ли есть в голове у какого-то человека на Земле вся и сразу. У меня точно нет. Я могу только проверить готовый результат, но никак не уложить это все в одну работающую модель. Голова опухнет на 10% загрузки контекста. А терпение закончится после 5% экспериментов. В итоге, после пары часов работы (2-3 запуска), Codex оптимизировал 40GB версионированного storage до 500MB, не теряя возможности откатить любые изменения любого агента назад. Это прямо очень круто и вдохновляет Ваш, @llm_under_hood 🤗

    Photoedited
    Views10.7K
    Forwards126
    Reactions117
    Comments41
  2. 02
    Views10.7K
    Forwards426
    Reactions130
    Comments10
  3. 03
    Views10.6K
    Forwards368
    Reactions61
    Comments37
  4. 04
    Views10.4K
    Forwards77
    Reactions48
    Comments28
  5. 05

    Запустим рой агентов в песочницу BitGN ECOM! Вы прямо сейчас можете взять своего агента (от СhatGPT Free до Claude Code) и подключить его по MCP к коллективному разуму BitGN. Там агенты и их владельцы могут сотрудничать над задачкой написания лучшего агента для ECOM1. Ваши агенты могут написать код нового эксперимента и запустить его для оценки средой BitGN. Эксперименты запускаются под моделью GPT-OSS-120B на Cerebras (для скорости). Токены предоставляем мы с COLIBRIX ONE. Песочница пока пустая - там есть только тестовый пример, который выбивает ~12 очков за 7 минут. Первые агенты, которые улучшат его, войдут в историю BitGN Brain. Это тот самый Personal/Company Brain, про который я рассказывал. Можете попробовать подключиться туда и посмотреть изнутри, как работает общий слой памяти с инструментами для роя агентов. Что делать? Подключаем агента из интерфейса BitGN (заводим токен и получаем инструкцию для MCP) и просим его что-то вроде: Connect to BitGN Brain, orient yourself, tell me what is this about and contribute А еще можно попросить запускать по расписанию (это должно работать в системах вроде ChatGPT/Claude) Create a scheduled task that runs every 3 hours. Each time, connect to BitGN Brain and contribute to the shared ECOM1 research. Read the workspace instructions and recent progress, build on the community’s work, and record your findings in the workspace. BitGN Brain | Слайды c прогрессом роя (будут пополняться каждую пару часов) | Agents.md слоя и соседние файлы Погнали? Если есть вопросы с подключением - пишите в комментарии. Ваш, @llm_under_hood 🤗 PS: Самый большой известный мне эксперимент с участием разнородных агентов - это 1221 участников на Hugging Face. У нас есть шанс побить этот рекорд.

    Textedited
    Views10.1K
    Forwards105
    Reactions66
    Comments19

Latest posts

#992Text

Отвечаю на вопрос про механизм работы агентов в стандартной схеме vs company brain В самой обычной схеме в центре всего стоит агент. Это чаще всего ChatGPT/Claude с общей памятью и инструментами, который всегда с нами (такой режим использует большинство людей). Чуть реже - свой агентский харнес, который крутится где-то на сервере (codex, claude code, hermes итп), к которому организован доступ через терминал/чат/веб интерфейс. А еще появляются облачные агенты вроде dot (это помесь первого и второго случая) и более редкие самописные случаи. Я через все это прошел, когда пытался вывести удобный режим работы с агентами. Сначала для себя, а потом (когда все стало получатся) и для команд. Фишка с agent-centric системами в том, что в них уже все интеграции и инструменты сделаны настолько удобно и из коробки, что мало кто задумывается про их работу. Ну есть в Claude/ChatGPT память, ну есть инструменты и скилы, и оно как-то все автоматически разруливает и использует. А если начать смотреть - то можно выделить во всех этих системах общее ядро, которое есть везде. Скажем, в ChatGPT/Codex/Jev - это все работает на общем ядре Agents SDK. А память и скилы подключаются внешне. И сами ребята из OpenAI говорят (ссылка на Тибо в этом посте), что LLM сейчас так сильно хорошеют день ото дня, что скоро сложные SDK/харнесы уже будут не особо нужны. Ядро я беру в аренду по подписке (Claude + ChatGPT), но при этом не пользуюсь механизмами работы с памятью, скилами и инструментами, которые там есть. Мне хочется, чтобы, чтобы ядро можно было подключить любое. Чтобы можно было к своему контексту получить доступ хоть из Claude на мобилке, хоть из Dot, хоть из Codex-a на лаптопе. Для этого в каждого клиента пробрасывается один единственный MCP с двумя инструментами. Что-то вроде своего "загрузчика", который слегка оптимизирован под ядро. Агентское ядро через этот MCP и progressive disclosure уже грузит всю среду и начинает работать с ней. Ну и как следствие - можно в загрузчике прописать разные доступы и инструменты в зависимости от того, кто именно и откуда его запускает. А если запустить в общий контекст разные ядра - получаем тот самый рой, с которым мы экспериментировали ранее в канале. А если детальнее прописать рабочие процессы и механизмы передачи работы между людьми и агентами, то получаем тот самый Company Brain (см видео YCombinator). Все строится на одном принципе - агентное ядро/harness арендуем лучшие на рынке, а контекст/память и инструменты используем свои. Скину в комментарии иллюстрацию на эту тему. Ваш, @llm_under_hood 🤗

Open in Telegram
Views4,930−42%vs avg
Forwards147
Reactions60
Comments95
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
12 h4,104
36 h4,930
  1. Total to date4,930
#991Text
Views6,288−27%vs avg
Forwards144
Reactions127
Comments6
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
5 h3,764
17 h4,648
29 h5,685
68 h6,288
  1. After 6 hours3,764
  2. After 24 hours5,685
  3. Total to date6,288
#990Text

Любую технологию, если она стоит того - скопируют Вон аналог Jev (недорого и быстрого классификатора) уже выкатили не только в OpenAI, но и в Gemini. Народ говорит, что эти два варианта пока откалиброваны хуже оригинальной модели, но пользоваться уже можно. И так может быть с любым многообещающим стартапом. На худой конец всегда можно натравить Fable/Astra на продукт и все посты компании, попросив модель повторить технологию. И она это сделает. Понятно, что там начинаются всякие нюансы: “A сделает ли модель это так же качественно на все 100% функционала?” - “А зачем мне эти 100%, когда нужны только 10%?” - “А кто поддерживать будет?” - “А Fable и будет” итп Эта тема мне очень актуальна, т.к. мы в BitGN работаем над технологией Company Brain, которую уже начинаем внедрять в другие компании. Это результат 9 месяцев исследований, разработки и оптимизаций. И я точно знаю, что уже не одна команда натравливала Fable/Codex на все доступные материалы и API, чтобы повторить систему. И с этим ничего не сделать. Бинарники утекут, их по API и документам зареверсят в исходники и повторят, итп. Поэтому фишка должна быть в другом. Кстати, сейчас мы планируем следующую версию company brain, чтобы его лучше можно было масштабировать на большие компании. Я могу сразу, чтобы агентам проще было копировать, рассказать про стек и ключевые слова: FoundationDB/LMDB, deterministic DES testing, fault injection & replay, executable BDD, codemode, CAS, Buzhash algorithm (CDC), immutable changesets, snapshot isolation, OCC, AI-driven improvement loops, atomic publication & explicit rebase, idempotent retries, pluggable sandboxed runtimes, dual agent/SDK isolation, capability-based authz, versioned per-company SDKs, progressive disclosure, permission-aware FTS, data provenance & audit trails, multi-stage agent pipelines, source-grounded validation & HITL calibration. Более того, те, у кого уже есть доступ к первому учебному модулю по progressive disclosure - видели код и читали материалы, которые являются обязательными для участия в разработке ядра. Фишка ведь не в понятийной базе и не в исходниках. А в том, что если стоимость разработки и повторения технологий сейчас падает, то ценность и конкурентное преимущество перемещается в те вещи, которые пока плохо поддаются масштабированию через AI. И всю эту неизбежность нужно заранее закладывать в разработку продуктов уже сегодня. Более того, это должно быть частью плана. Если делать это, то раскрывать такие вещи, как спецификации ключевых моментов технического слоя (как я сделал выше) - не страшно. Ваш, @llm_under_hood 🤗

Open in Telegram
Views6,765−21%vs avg
Forwards153
Reactions90
Comments8
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
11 h5,245
35 h6,304
74 h6,765
  1. Total to date6,765
#989Photo

Три основных уровня организации работы агентов в компании Речь тут идет не столько про разработку, а про организацию бизнес-процессов и автоматизации. Классификация условная. Самый первый - когда у сотрудников есть свои Personal OS или ассистенты с памятью, которые им помогают в работе. Если нужно передать работу кому-то еще, то человек с агентом пишут сообщение или письмо. На этом уровне голова болит о том, как медленно и неэффективно работать с другими. Второй уровень - когда компания замучалась возиться с отдельными папками и git repositories, стало понятно, что скорость работы упирается в скорость передачи задач людьми. Тогда все это переезжает в различные облачные решения, с которым напрямую работают агенты через скилы. Например, используется Linear/JIRA для того, чтобы быстрее передавать задачи между агентами. При этом люди все еще могут видеть и контроллировать, что происходит. На втором уровне голова болит про то, что эта сборная солянка расползается в разные стороны, токены утекают, системы глючат, а с доступами и скилами - каша. Третий уровень - когда эти системы интегрируются в один Company Brain, с единообразным контролем изменений и доступов. Добавляется общий progressive disclosure на все системы (для экономии токенов и авто-оптимизации организации системы). Часть процессов постепенно выносятся в полностью автономные. На этом уровне голова болит про то, что в процессах становятся видна куча проблем, и надо думать, как их переделывать и переобучать людей. Вывод - голова болит на любом уровне. Но люди продолжают радоваться эффективности. Ваш, @llm_under_hood 🤗

Open in Telegram
Views7,111−17%vs avg
Forwards271
Reactions94
Comments18
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h4,481
11 h4,587
34 h6,504
70 h7,111
  1. Total to date7,111
#988Photoedited
Views9,378+9%vs avg
Forwards189
Reactions69
Comments42
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
7 h6,326
32 h8,094
57 h9,246
68 h9,378
  1. After 6 hours6,326
  2. After 24 hours8,094
  3. Total to date9,378
#987Textedited
Views5,159−40%vs avg
Forwards131
Reactions63
Comments12
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
7 h3,533
31 h4,545
68 h5,159
  1. After 6 hours3,533
  2. After 24 hours4,545
  3. Total to date5,159
#986Photoedited

Наш агент напишет вашему агенту С одной стороны это смешно, а с другой стороны начинает происходить у нас в команде все чаще, по мере того, как привычные human-driven процессы начинают ускоряться агентами. На скриншоте пример процесса передачи рабочего контекста с материалами от одного агента другому. Итак, мы работаем над обучающей платформой. После прогона первой когорты набрались идеи по улучшению продукта. @akitka проработала их со своим кодексом в прототип, который дальше мне надо интегрировать в проект. Как подобная передача работала раньше: (1) продакт готовит прототип или мокапы (2) архивирует их (3) пишет письмо с кратким описанием задачи, улучшений и информации о запуске - как запускать, куда смотреть, что брать, а что игнорировать, зачем все это нужно (4) исполнитель получает письмо, читает, выкачивает прототип (5) распаковывает, читает README, ставит зависимости, запускает (6) разбирается в куче экранов на что надо смотреть и что именно надо перетаскивать (7) начинает интегрировать В общем ужас и та самая бесполезная трата человеческого времени. Как это мы сделали у нас (1) продакт готовит прототип или мокапы (2) просит агента передать текущий контекст другому агенту (3) исполнитель просит забрать агента забрать контекст (этот этап на скриншоте) (4) начинаем интегрировать Никакой специальной обвязки или скилов для этого не добавляли. Просто завели в company brain общий workspace с доступом агентов компании на чтение и запись. И все агенты знают через progressive disclosure, что для передачи смотреть туда. А дальше все работает само собой. Про то, что в архиве еще лежал IMPLEMENTATION.txt, в котором один агент написал другому, что именно нужно подсвечивать и грузить в контекст для задачи - я узнал только случайно, когда полез разбираться, как этот context transfer сработал) Ваш, @llm_under_hood 🤗

Open in Telegram
Views6,222−27%vs avg
Forwards73
Reactions37
Comments30
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
28 h5,558
76 h6,222
  1. After 24 hours5,558
  2. Total to date6,222
#985Textedited

Почему Ринат не пишет своих агентов В комментариях к прошлому посту было много отсылок на разные agentic харнесы, которые уже давно реализовали у себя разговорную память. Да что там говорить, нативная работа с ней даже есть у ChatGPT. И это круто. Но я никогда не буду писать свой агентский харнес или пытаться конкурировать с существующими. Но вот что я делаю у нас в BitGN - так это свой слой памяти, в который могут писать и читать любые харнесы. Он очень тонкий и простой, там нет ни одного LLM inference вызова (работа BitGN в режиме роя - не в счет, это было необходимо для кейса). Вместо этого он оптимизирован на работу с любым харнесом. И это часть нашей долгосрочной стратегии) Если посмотреть на траекторию соревнований BitGN с точки зрения того, куда движется state of the art технологий, то видно - с каждым месяцем агенты становятся все более мощными. На эту тему мы уже говорили не раз. Tibo в недавнем подкасте с Lenny сказал (YouTube), что дальше будет веселее - LLM-ки становятся такими умными, что скоро не особо нужны будут умные агенты или сложные харнесы для работы. А Revolut недавно рассказал (YouTube), как они своих программистов пересадили c Codex/Claude Code на GLM на H200 и сэкономили ~90% денег, а скорость выкатки возрасла. В общем, модели и харнесы и так крутеют не по дням, поэтому нет смысла вкладывать туда усилия. А вот что не сильно менялось в соревнованиях BitGN - это слой памяти и инструментов, паттерны эффективной работы агентов с ними. Поэтому я и вкладываю усилия только в создание своей памяти с инструментами (aka Personal OS/Company OS/Company Brain) таким образом, чтобы к ней можно было подключать лучшие харнесы по мере их развития. И оно окупается даже в неожиданных местах. Например сегодня я так буквально переобулся на бегу, кода Claude отказался продолжать записывать тренировку в зале из-за safety flag. Работу подхватил ChatGPT. А когда-нибудь это будет своя локальная модель. Ваш, @llm_under_hood 🤗

Open in Telegram
Views6,913−19%vs avg
Forwards119
Reactions62
Comments81
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
52 h6,664
76 h6,913
  1. Total to date6,913
#984Text

Ускоряем работу с памятью Codex - conversation index Codex/Claude Code сохраняют на диск историю разговоров. На эти разговоры можно было раньше ссылаться со словами "посмотри в историю сессий в ~/.codex/sessions и скажи, что можно тут улучшить". Все работает неплохо. Но вчера во время начала внедрения Company Brain в новую компанию, я понял, что все может быть гораздо лучше, а мне прямо срочно нужна отдельная база моих разговоров с Codex. Я добавил в свой Codex (по примеру @AigizK) свои хуки для автоматического сохранения всех сессий в отдельную SQLite базу. Она не будет стираться и архивироваться, из нее не теряются разговоры при (редких) ошибках Кодеса. А еще с ней удобнее работать и самому кодексу и мне. Я подключил базу через progressive disclosure (краткое упоминание в doc tree). Теперь можно спрашивать у Codex - "помнишь, я в прошлом месяце делал что-то такое, а ты сказал что-то этакое. Напомни". И он найдет это быстро и точно. Или просить прогнать ретроспективу использования проекта самим Codex-ом, для выявления ошибок и улучшения качества обвязки проекта. Можно было делать такое и раньше, но там нужно было больше писать и уточнять, а работало все достаточно медленно. А сейчас получился прямо идеальный персональный ассистент. Давно так надо было сделать. Можно воспроизвести у себя через подобный промпт: I want a brain-dead, local, best-effort index of my typed text and final textual answers from conversations with you. Empty messages, reasoning, tools, commentary and internal agent chats are excluded. Lag and incomplete old ancestry are acceptable. Use SQLite with one persisted-history reader shared by live capture and backfill (instead of direct hook payload capture). Grow only under demonstrated pressure. Preserve durable data; avoid speculative infrastructure, additional services or guessed ancestry. No pending implementation work. Ваш, @llm_under_hood 🤗

Open in Telegram
Views7,315−15%vs avg
Forwards441
Reactions111
Comments76
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
58 h7,220
70 h7,315
  1. Total to date7,315
#983Photoedited

Насколько просто можно найти потрясающего специалиста в 2026 году Если помните, эксперимент коммьюнити с BitGN Brain с роем в 30 агентов (который решал задачи ECOM1) пришлось поставить на паузу после того, как слой версионирования выел весь доступный диск. Поэтому я сел переписывать storage. Позвал Codex и велел сделать архитекутуру понятной, упростить, но при этом масштабировать под ECOM2. Выдал ему дамп с работой роя. А заодно велел вдохновляться mechanical affinity, LMDB, immutable shared trees и CAS. Эти концепции из high-load меня никогда не подводили. А еще попросил держать в уме возможность горизонтального HighAvailability развертывания в компаниях на базе FDB. Ну и напомнил про Anthropic Scion. В общем, попросил использовать кучу разрозненной специфичной экспертизы, которая вряд ли есть в голове у какого-то человека на Земле вся и сразу. У меня точно нет. Я могу только проверить готовый результат, но никак не уложить это все в одну работающую модель. Голова опухнет на 10% загрузки контекста. А терпение закончится после 5% экспериментов. В итоге, после пары часов работы (2-3 запуска), Codex оптимизировал 40GB версионированного storage до 500MB, не теряя возможности откатить любые изменения любого агента назад. Это прямо очень круто и вдохновляет Ваш, @llm_under_hood 🤗

Open in Telegram
Views10,738+25%vs avg
Forwards126
Reactions117
Comments41

All posts

Connections