Account
Max: AI, Engineering and Startups

Max: AI, Engineering and Startups

Авторский канал про ИИ, разработку и стартапы от Head of AI & Product Engineering. Стараюсь писать полезно и кратко. Делюсь возможностями, лайфхаками, личным опытом, ресёрчем и рефлексией. Фидбек, советы, предложения: [email protected]

Username
@max_about_ai
Category
Technologies
Country
RussiaRussia
Created
, 2 years
Subscribers15,751+1,905 last week
Avg views per post, 7d5,467last 7 days
ERR34.71%last 7 days

Subscribers, 30 days

Nov 8 – Nov 16+2,060 (+15%)

Show as table
DateSubscribers
Nov 8, 202613,691
Nov 9, 202613,846
Nov 10, 202614,205
Nov 11, 202615,032
Nov 12, 202615,579
Nov 13, 202615,739
Nov 14, 202615,736
Nov 15, 202615,743
Nov 16, 202615,751

Average views per post by day

By publication day

Show as table
DateAvg views per post
Oct 30, 20264,462
Nov 9, 20265,467

Latest posts

#118Text

Нравится нам это или нет, но бизнес все меньше хочет платить за код и закрытые таски в Jira, и все больше задается вопросом какую ценность компании принес конкретный сотрудник. Если бизнес - продуктовый, то успех продукта ~ успех бизнеса, а значит успех продукта ~ успех его разработчика. И тут нам на помощь приходит продуктовое мышление. Суть продуктового мышления довольно проста: думать о цели и результате, а не только о поставленной задаче. Продуктовый подход предполагает, что разработчик задает дополнительные вопросы: какую проблему мы решаем, почему она важна, можно ли решить ее проще и как мы поймем, что получили хороший результат? Представим типичную задачу (лично занимался ей 2 года): разработать AI ассистента для поиска информации во внутренних документах компании. Обычный подход: выбираем LLM, строим RAG (или не RAG, если считаем что он мертв), подключаем векторную БД, оптимизируем latency, покрываем тестами и выкатываем в production. Фокус разработчика в данном подходе - на новых интересных технологиях. Хорошие разработчики не забудут про масштабируемость, безопасность и другие нефункциональные требования. Продуктовый подход: сначала выясняем, кто именно ищет информацию, что пытается найти, сколько времени на это тратит и почему существующий поиск не справляется. Вполне возможно, что вместо AI ассистента компании достаточно реструктурировать хранение документов, написать пять страниц нормальной документации или использовать готовое решение. В итоге в первом случае результатом становится работающий AI ассистент. Во втором - измеримое сокращение времени поиска информации. Это совершенно разные критерии успеха. И если компании важнее именно эффективность, а не AI для галочки, то понятно, какое решение и какого разработчика она предпочтет. Умение добиваться цели и приносить ценность - вот за что компании будут всегда охотно платить. Подробнее про продуктовое мышление для разработчиков я расскажу на конференции AI Dev Live 2026 в этот четверг в 18:35 (мск). Регистрация и детали

Open in Telegram
Views5,467+10%vs avg
Forwards58
Reactions72
Comments4
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
4 h2,228
16 h3,237
28 h4,095
77 h5,467
  1. After 24 hours4,095
  2. Total to date5,467
#116Photo

На европейском рынке разработки есть ярко выраженная сегментация рынка, которая в меньшей степени выражена на российском и американском рынках. В основе разделения то, с кем компания конкурирует за инженеров. Можно выделить 3 тира компаний: 1️⃣ Локальные работодатели. Сравнивают зарплаты с похожими компаниями поблизости. Разработка часто воспринимается как статья расходов. Основная часть дохода - оклад. 2️⃣ Компании, конкурирующие за специалистов на всём региональном рынке. Готовы переманивать людей из других отраслей. Здесь выше компенсация, чаще встречаются бонусы и акции. 3️⃣ Компании, конкурирующие за инженеров на международном уровне. Big Tech, быстрорастущие стартапы и трейдинговые фирмы. Они ориентируются на предложения других глобальных игроков. Как это выглядит с точки зрения зарплат можно посмотреть на приложенном графике из статьи The Pragmatic Engineer. Важно понимать что речь идет о total compensation: оклад + бонусы + акции. К примеру вилки для senior-разработчиков в Нидерландах могут быть примерно такие: €50–75 тыс., €75–125 тыс. и €125–250 тыс.+ в год соответственно.  Разумеется разбиение на сегменты очень условное и есть компании на границе сегментов. К тому же в последние два года топовые AI лабы создали tier-4 с совершенно запредельными зарплатами.  Также важно понимать, что ожидания к роли и компетенциям человека в разных тирах - различны. Очень часто переход между разными сегментами происходит с понижением роли (к примеру, lead -> senior или senior -> middle). И нагрузка по работе тоже может отличаться в разы. @max_about_ai

Open in Telegram
Views6,885+39%vs avg
Forwards47
Reactions36
Comments11
#115Text

Оказывается, не все знают, что существуют когнитивные искажения - распространенные способы устойчиво мыслить или решать задачи каким-то типовым образом, сильно отличным от рациального. Есть много примеров когнитивных искажений. Например, эффект Даннинга — Крюгера, когда люди с низкой квалификацией неспособны распознать свои ошибки. Или, например, ошибка выжившего, когда люди недооценивают вероятность недоступных прямому наблюдению событий. Еще одним распространенным примером является предвзятость подтверждения, когда новые данные ищутся и интерпретируются в пользу подтверждения имеющейся концепции. Одно из моих нелюбимых когнитивных искажений - выученная беспомощность. Строго говоря, это не отдельное когнитивное искажение, а более широкий поведенческий и мотивационный паттерн. Представьте ситуацию - у вас что-то болит и вы несколько раз пытались это лечить, но ничего не помогло. Вы свыкаетесь с мыслью, о том что эта боль с вами навсегда, потому что вы уже совершили несколько неудачных попыток исправить ситуацию. И когда выходят новые методы лечения или лекартства - вы просто игнорируете этот факт, потому что вы уже смирились. Подобный паттерн поведения может появляться в совершенно различных аспектах жизни. Я сам не раз сталкивался с выученной беспомощностью и сейчас стараюсь отслеживать ситуации, где может возникнуть данное когнитивное искажение. Также по мере поступления новых данных - я пересматриваю варианты решения открытых проблем. Знать о возможных когнитивных искажениях (список) полезно, потому что их как "баги" можно фиксить (как минимум, пытаться) и делать на них поправку при работе с людьми. @max_about_ai

Open in Telegram
Views9,026+82%vs avg
Forwards56
Reactions71
Comments9
#114Photo

Сингулярность достигнута в уравнениях Навье-Стокса В математике существует список из 7 задач тысячелетия, признанных одними из самых сложных в современной математики. За их решение дают приз в 1 млн долларов. За 26 лет существования списка была решена только одна задача - Гипотеза Пуанкаре. И это при том, что тысячи, а может быть сотни тысяч профессиональных математиков бились над их решением. OpenAI опубликовала решение задачи Навье-Стокса. Пока достоверно неизвестно точно ли оно верное, но его проверили с помощью формального прувера (автоматического верификатора) и ошибок не нашли, так что я бы предположил, что доказательство верное. К посту приложил красивую визуализацию из статьи. Помимо этого с доказательством возник крупный скандал в среде математиков, потому что двое математиков, занимавшихся этой проблемы подобрались довольно близко к решению, они использовали Codex и есть некоторая вероятность, что их наработки легли в основу попав в тренировочные данные. Если интересно углубиться, то детальный разбор есть на Хабре. Почему вообще это важно? 1. Уравнение Навье-Стокса важно для гидро- и аэродинамики. Его уже давно решают численными методами, но его аналитическое решение может продвинуть нас в понимании процессов турбулетности. Это в свою очередь может привести к более безопасному авиасообщению, лучшим прогнозам погоды, и, возможно, повлиять на многие другие технологические отрасли. 2. Впервые AI смог решить задачу уровня фундаментальной математики, с которой люди не могли справиться уже много десятилетий. Многие считали, что это не произойдет в ближайшие годы. Кажется, осталось очень мало формализованных задач, с которыми AI не может справиться. 3. OpenAI использовал 10 000 агентов, координирующихся между собой, и сжег токенов на десятки миллионы долларов. Раньше интеллект было невозможно купить исключительно за деньги или даже по принуждению. У работника был выбор, на что направлять свой интеллект и многие гении отказывались участвовать в сомнительных исследованиях и разработках. Теперь это выбор исключительно заказчика. Теперь интеллект можно купить за деньги, очень большие деньги. Что теперь отделяет нас от AGI? От AGI в руках нескольких компаний, управляемых несколькими людьми, движимыми своими личными амбициями, которые даже модель не могут без инцидентов зарелизить. @max_about_ai

Open in Telegram
Views9,698+95%vs avg
Forwards86
Reactions60
Comments—
#113Textedited

Как я использую AI для подготовки публичных презентаций Начну с пары важных для меня моментов: 1️⃣ Презентация должна содержать авторские мысли и отражать его понимание вопроса, иначе автор презентации становится лишней прослойкой между AI и слушателем. 2️⃣ Протестированные модели (Fable 5, GPT-5.6) все еще недостаточно хороши для полностью автономной подготовки презентаций. Им нужны вводные, нужен контроль структуры, нарратива и стиля изложения, нужен факт-чеккинг. 3️⃣ Надо разделять публичные презентации и подготовку материалов для самообучения по уже проработанным и хорошо известным темам - c подготовкой материалов для самостоятельного изучения вопроса ChatGPT / Claude / NotebookLM отлично справляются и можно смело генерить с первой попытки. Что я пробовал и мне не подошло: 1️⃣ Использовать NotebookLM. Это отличный инструмент для саморазвития или для конвейерного штампования учебных материалов по хорошо изученным темам, но глубина проработки сложных и свежих тем для меня недостаточна. 2️⃣ Генерировать готовые презентации в Gamma App или в другом конвейере презентаций. 3️⃣ Автономная генерация презентаций в Claude Code или Codex. Как выглядит мой пайплайн: 1️⃣ Выбираю тему и формулирую, какую пользу я хочу дать своим выступлением. 2️⃣ При необходимости делаю исследование по теме вместе с ChatGPT, но вообще без привязки к презентации, а чтобы углубить свое понимание темы. 3️⃣ Самостоятельно выписываю основные тезисы выступления. 4️⃣ Прошу ChatGPT / Claude подготовить свой план и тезисы по теме. Также если вы уже обсуждали эту тему можно попросить ChatGPT переиспользовать результаты вашей беседы. Дальше нахожу пробелы в своих тезисах и объединяю свои и ИИшные тезисы в единый лист. 5️⃣ На основе тезисов самостоятельно собираю структуру выступления с основными тезисами из предыдущего пункта. 6️⃣ По полученной структуре и тезисам прошу ChatGPT / Claude доработать слайды - добавить аргументы, цитаты и ссылки на источники. При необходимости докрутить содержание. 7️⃣ Собираю финальный Markdown-файл. 8️⃣ Загружаю его в Gamma App или отдаю Claude Code (ему полезно давать референс на сайт или другую презентацию), чтобы получить презентацию в формате PDF. 9️⃣ Докручиваю визуальную часть с помощью того же Gamma App или Claude Code, уточняющими промптами. Еще от опытных спикеров я слышал советы наговорить тезисы голосом и структурировать их с помощью AI. Или брать за основу презентации уже существующие диалоги с ChatGPT и просто генерить по ним. Но сам я ни один из этих подходов не пробовал. Благодаря AI и современным инструментам, я сократил время на подготовку одной презентации с 8-12 до 4-6 часов без потери качества (а может и с увеличением). Мне кажется, что сократить еще больше можно, но только с потерей качества и аутентичности. PS: если вам интересна тема внедрения AI в бизнес, маркетинг, продукт менеджмент и личную эффективность - приходите на бесплатную практическую конференцию Community Sprints с 8 по 10 сентября. Я буду выступать про подготовку презентаций по принципам из этого поста, так что можно будет посмотреть на результат. Помимо меня будет много классных спикеров с полезными юзкейсами. Посмотреть программу и зарегистрироваться.

Open in Telegram
Views6,492+31%vs avg
Forwards136
Reactions40
Comments1
#112Link previewedited

Митап про личные финансы для айтишников и фаундеров Меня позвали на онлайн-митап рассказать про мой опыт использования ИИ для личных финансов. Никаких секретных промптов и тем более финансовых советов не будет, но будет честный рассказ как я использую ChatGPT и Claude Code, чтобы экономить время и принимать более взвешенные личные финансовые решения. Кто еще будет и о чем расскажут: 🔵 Владислав Носковец (CEO CareerStation, автор канала «Твой ментор», помогает IT-менеджерам находить работу) Поделится своими источниками дохода и расскажет, почему не планирует выходить на привычную всем пенсию. 🔵 Иван Глушенков (внедряет ИИ в финансовые организации, закончил физтех, выиграл 18 хакатонов) Расскажет, как 5 лет жил с бюджетами по книге «The Richest Man in Babylon» и разбогател, а потом 5 лет прожил без бюджетов — и почему. Про 4 типа капитала, старость и финансовую безопасность на основе анализа успехов 250 человек ежегодно. 🔵 Глеб Кудрявцев (руководитель ИИ-лаборатории, ex-CPO Skyeng) Руководил более чем 200 людьми, а теперь пишет код и строит бизнес с ИИ. Расскажет, как рассчитывает дожить до сингулярности и жить при коммунизме. 🔵 Таня Савельева (фаундер UplinkAI, 2 экзита, Forbes 30u30) Расскажет, почему не ведёт бюджет и вам не советует. 🔵 Катя Курашева (Founder & CEO R-Founders) Основатель глобального сообщества R-Founders для фаундеров и C-level. Путешествует по мировым центрам технологических стартапов и говорит с предпринимателями и инвесторами о разном, в том числе о деньгах. Поделится неожиданным выводом: почему у tech-предпринимателей личного капитала часто в разы меньше, чем у тех, кто строит физический бизнес. 🔵 Юлия Билинкис (основатель Strategicmove.education) Расскажет, почему на старость нужно копить не капитал, а покупать будущие денежные потоки и уменьшать будущие обязательные расходы. 🔵 Николай Шейко (фаундер grably.tech — внедрение ИИ в бизнес, и entropy.talk — крупнейшие онлайн-конфы по ИИ) Расскажет, почему нефинансовый капитал может быть долгосрочно важнее денег — как его выбирать и растить. Судя по всему, что я знаю об организаторах и спикерах, мероприятие не про "успешный успех", а про личный финансовый опыт самих спикеров. Приходите если интересно послушать про чужой опыт, факапы и лайфхаки. 🗓 | 3 сентября, четверг, 18:00 мск 🤩 | Бесплатно, за подписку на спикеров ⭐️ | Регистрация в боте по ссылке

Open in Telegram
Views6,550+32%vs avg
Forwards26
Reactions19
Comments6
#111Text

AI Skills для агентов Даже странно что за 9 месяцев с момента появления скиллов я ни разу про них не написал. Пора закрыть этот гэп, потому что скиллы стали де-факто стандартом для повторяемых инструкций агенту и основным способом расширения его возможностей. Что такое скилл Скилл - повторяемый способ решения целого класса задач: инструкции, скрипты, шаблоны, документацию и критерии проверки. Скилл упаковывается в папку с SKILL.md в определенном формате + файлы скриптов, примеров, инструкций и других артефактов. Так выглдяит типичная папка скилла: code-review/ ├── SKILL.md ├── scripts/ ├── references/ └── assets/ В SKILL.md есть metadata, по которым агент понимает, когда использовать skill, и сами инструкции: --- name: code-review description: Reviews pull requests for bugs, security issues and project conventions. Use when asked to review a PR. --- 1. Read the project instructions. 2. Inspect the diff and related code. 3. Run relevant tests. 4. Report findings by severity. Скиллы подгружаются в контекст постепенно: 1. Агент всегда видит только name и description - около 100 токенов на skill. 2. Полный SKILL.md загружается, только когда skill подходит задаче - рекомендация до 5 000 токенов. 3. Скрипты и references читаются только при необходимости. Это позволяет подключить много скиллов и не загружать все инструкции в контекст сразу. Формат уже поддерживают Claude Code, Codex, GitHub Copilot, Cursor и другие инструменты. Как использование скиллов влияет на качество Качество должно улучшаться, но результат сильно зависит от качества самого скилла. В SkillsBench протестировали 87 задач из 8 областей на 18 комбинациях моделей и agent harnesses. Curated skills повысили средний pass rate с 33,9% до 50,5%. Для отдельных конфигураций прирост составил от 4,1 до 25,7 процентов. Skills из 2-3 сфокусированных модулей работали лучше больших пакетов документации. Если же добавить этап поиска скилла, то результаты ухудшаются. В исследовании с каталогом из 34 000 скиллов преимущество почти исчезало по мере усложнения поиска. Retrieval и адаптация найденного скилла под запрос повысили результат Claude Opus 4.6 на Terminal-Bench 2.0 с 57,7% до 65,5%. Качество публичных скиллов низкое. Авторы анализа 138 133 файлов SKILL.md нашли нарушения спецификации в 89,3%. Более того использование скилла может ухудшить результат. Данная статья отмечает падение pass rate на 16 из 84 задач SkillsBench. Часто агент выполнял избыточный процесс, запускал ненужные проверки или следовал инструкции, не подходящей окружению. Как начать работать со скиллами Я бы не советовал скачивать всё подряд из маркетплейсов. Скиллы могут содержать исполняемые скрипты и небезопасные инструкции. Нормальный процесс выглядит так: 1. Найти скилл в доверенном каталоге или создать под повторяющуюся задачу. 2. Проверить SKILL.md, скрипты, зависимости и требуемые разрешения. 3. Подключить его на уровне пользователя или конкретного репозитория. 4. Сравнить выполнение одинаковых задач со скиллом и без него. 5. Исправлять скилл после реальных ошибок агента. Рассказ как делать eval скиллов заслуживает отдельного поста, но точно нужен code review + несколько тестовых прогонов. Откуда брать скиллы 1. Из публичных репозиториев или каталогов - самый популярный skills.sh. 2. Создавать самому с помощью AI агентов. Можно делать это проактивно, но, на мой взгляд, эффективнее анализировать свои задачи и создавать скиллы на основе повторяющихся задач и сессий для них. Гайд по созданию скиллов от Антропик 3. На уровне компании и проекта должны быть репоризитории с уже существующими и проверенными скиллами. @max_about_ai

Open in Telegram
Views7,021+41%vs avg
Forwards205
Reactions51
Comments12
#110Text

Почему я пока не верю в универсальные темные фабрики софта (dark software factory) Несколько месяцев назад появился тренд на построение полностью автоматизированных фабрик софта: систему, в которой AI-агенты получают цели, а дальше сами формируют задачи, пишут код, запускают тесты и выкатывают изменения в прод, без какого либо участия людей. Эффективным менеджерам далеким от разработки эта идея кажется отличной. Можно сэкономить много денег компании и получить жирный бонус. Тем не менее проностью автономная универсальная фабрика корпоративного софта пока невозможна по нескольким причинам: 1⃣ Недетерминированность описания цели на человеческом языке. И это особенно критично, если у вас уже есть legacy ситстема с своей доменной онтологией, на которой llm просто не натренированна. 2⃣ Проверка не масштабируется вместе с генерацией. Агент может создать тысячи строк за минуты, но быстро проверить архитектуру, неявные бизнес-правила и долгосрочные последствия нельзя. 3⃣ Зеленые тесты не означают, что решение хорошее. Они проверяют основные сценарии, но не поддерживаемость, правильность границ компонентов и совместимость с будущим развитием продукта. Особенно опасно когда тесты генерируются тем же агентом после написания кода - повышается вероятность, что код будет использоваться как source of truth и фактически тесты не будут проверять бизнес-логику. 4⃣ Непрочитанный код создает "интеллектуальный" долг. Если люди перестают читать код, команда постепенно теряет ментальную модель системы. Это особенно дорого проявляется во время сложных production-инцидентов. 5⃣ Длинные автономные циклы теряют контекст. Чем больше взаимосвязанных решений агент принимает без остановки, тем выше вероятность, что локально разумные изменения приведут к неправильному общему результату. 6️⃣ Некоторые ошибки слишком дороги. Для приема оплат, авторизации, управления деньгами, прав доступа и персональных данных даже один процент ошибок может быть неприемлемым. Для частных случает сделать software factories можно уже сейчас. Агентам можно автономно отдавать обновление зависимостей, механические рефакторинги, исправление известных классов ошибок и другие задачи с быстрым объективным критерием готовности. Вероятно таких типовых задач довольно много, но это не универсальные решения. PS: мой приятель Тимур Хахалев, с которым мы 9 месяцев назад собирали best practices по работе с AI агентами для разработки (пост), стартует второй поток своего курса "AI coding для разрабов". Лично знаю не только Тимура, но и двух человек прошедших у него обучение и оставшихся довольными, так что считайте это личной рекомендацией. Курс стартует уже через 3 дня - 10 августа, а пробный урок - бесплатный. По промокоду MAX - скидка 5%. Детали можно посмотреть здесь.

Open in Telegram
Views8,897+79%vs avg
Forwards60
Reactions58
Comments11
#109Text

Ликбез про RAG. ч.2. Фундаментальные ошибки. За последние 3 года я пообщался с десятком+ команд из разных компаний, работающих над приложениями на основе RAG.  Две самые частые ошибки, которые я встречал:  - плохая подготовка данных - garbage-in > garbage-out, - отсутствие evaluation (оценки качества) - не возможно улучшать то, что не измеряешь. Разумеется, существует множество других проблем, но это фундамент для всей системы, без которого остальные решения теряют значимость. И самое нелепое, что обе проблемы очевидны с первого взгляда, но из-за сложности их решения, менеджеры зачастую игнорируют их до последнего. 1️⃣  Плохая подготовка данных - самая частая и известная ошибка любых DS/ML/DL проектов.  Я заметил, что она особенно актуальна для Gen AI проектов, потому что люди, работающие над такими проектами часто не имеют профильного образования или опыта работы с DS проектами. Некоторые инженеры всерьез считают, что если они сделали pip install langchain, то теперь они AI Engineer. Уже 3 года веду репо с подборкой бесплатных материалов по AI разработке, чтобы закрыть эту проблему в своих командах: GH repo. Что делать с проблемой плохих данных? Ответ очевиден - чистить.  Самые универсальные советы: - удалять старые и нерелевантные данные, дубликаты, пустые документы, - проверять, что pdf, картинки, диаграммы, Excel, Word, attachements правильно обрабатываются, - эффективно использовать мета-данные и структуру в данных, - вычистить ошибки (фактологические, грамматические), - предпочтительно иметь все тексты на одном языке, - нормализовать онтологию - особенно, актуально для внутрипроектной документации. Когда пишешь это, кажется, что все это какая-то базовая база, но вы не поверите как много людей не задумываются, что не надо игнорировать Excel, прикрепленный к Confluence странице или что невозможно делать нормальный векторный поиск по базе, где 30% документов - это заголовок без дополнительного текста. После того как данные вычищены очевидный следующий шаг - разобраться, как правильно структурировать и предобрабатывать данные именно для вашего алгоритма поиска.  2️⃣ С evaluation все немного сложнее. Зачем вообще мерить качество системы? С точки зрения бизнеса - без оценки качества не понятно решает ли система поставленную задачу и приносит ли она вообще пользу. С точки зрения разработчика - не возможно улучшать то, что ты не измеряешь. Существует 3 типа метрик: - бизнесовые (какую пользу в деньгах приносит RAG приложение), - продуктовые (DAU, MAU, NPS, Session Length, actions or events и тд), - качественные (точность, релевантность, полнота,  MRR, …) Бизнес метрики мерить напрямую, как правило, сложно, поэтому используются продуктовые прокси-метрики. Например, это может быть количество закрытых задач и среднее время, сэкономленное на задачу. Если все честно померить, то внезапно может оказаться, что разработка и внедрение AI приложения не оправдывает ожиданий. Для качественных метрик можно выделить 4 дополнительных подмножества: - оценка качества собранных данных (не популярно, а зря), - оценка поиска, - оценка генерации, - оценка всей системы целиком - то есть качества ответов. Последний вариант самый простой и можно начинать с него, но проблема в том, что через E2E оценку очень сложно управлять качеством отдельных этапов. Тем не менее начинать лучше всего именно с него - максимум ценности за минимум затрат. Есть несколько способов померить качество ответов: - Автоматические метрики (Bertscore, BLEURT, ROGE, и тд). На практике не применяются из-за крайне низкого качества оценки, - Бинарный или фактологический датасет с закрытыми вопросами и однозначными ответами поверх которого можно посчитать F1 и другие классические DS-метрики, - Human eval - человек вручную читает ответы и оценивает качество. Обычно самый точный из способов, но самый дорогой. Его не возможно прогонять eval на каждое улучшение, - LLM as-a-judge и его разновидности, - Автоматическая верификация результата. Отлично работает для задач программирования или математики, где можно автоматически проверить полученный результат. Как правило, нужен датасет эталонных вопросов-ответов (validation и test датасеты). Лучше всего составлять его частично вручную частично с использованием AI, но под очень пристальным контролем с валидацией каждой пары. Самым частым способом оценки является LLM as-a-judge, потому что он дешевый в реализации, его можно прогонять вместе с тестами на каждое изменение и он относительно универсальный. Но как всегда есть нюанс. Нужно убедиться, что LLM дает такую же оценку качества системы как и человек. Для этого делают meta evaluation, когда человек делает оценку качества вручную и затем сравнивают с подходом LLM-as-a-judge.  Есть много библиотек для evaluation, из того что я пробовал: RAGAS, DeepEval, TrueLens. Но в итоге написать собственную обвязку оказалось эффективнее. Для менеджеров важным инсайтом будет, что пропорция времязатрат на разработку и eval, такая же как у разработки и тестирования. В среднем “по больнице” 3 к 1. Но если вы делаете высокорисковое приложение, на тестирование которого уходит почти столько же времени сколько на разработку, то и для evaluation приложения в этом домене нужно ожидать сопоставимое количество трудозатрат. @max_about_ai

Open in Telegram
Views11,946+141%vs avg
Forwards256
Reactions67
Comments5

All posts

Connections