commit history

Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собрал 10 задач с автоматической проверкой и прогнал на них разные сетапы. Сделал пару публикаций про это, у меня спросили про то, как такое сделать самим. Поэтому вот! Написал гайд + скилл, который делает большую часть работы 📊 Гайд: https://teletype.media/@ibragim_bad/fm5jSJvYb_5 🛠 Скилл: https://github.com/ibragim-bad/evals-from-sessions 🏆 Лидерборд: https://ibragim.dev/leaderboard/ оригинал в X: https://x.com/ibragim_bad/status/2111102467924496721?s=20

Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️ Этот релиз мы сделали масштабнее, он мультиязычный. Собрал 111 задач на 5 языках, сделал кучу прогонов и зарылся в траектории агентов, чтобы отловить, как именно модели читерят и обманывают эвалы. Всю более подробную аналитику собрал в большой блогпост. 📊 Статья с разбором: https://teletype.in/@ibragim_bad/swe-rebench-2026-07 🏆 Лидерборд: https://swe-rebench.com/

Приехал в Сеул на ICML (одна из трех топ ai конференций) с SWE-rebench-v2, который прошёл сюда, так что буду со стенгазетой на постерной сессии ICML, а потом ещё на воркшопе про код. В этот раз у нас здесь большая команда и сразу две статьи на main track. Приходите, если вы тоже здесь, и пишите — сгоняем попить прохладительные напитки. Фотку приложу со своей прошлой поездки в Сеул, потому что новых пока не сделал.

За последний месяц сделали несколько апдейтов SWE-rebench Leaderboard: https://swe-rebench.com/ > собрали новые задачи и прогнали кучу моделей на свежем срезе > обновили интерфейс, сделали его более понятным и красивым > добавили rebench в HarborHub: теперь бенчмарк можно запускать в Harbor Мы немного поменяли формат апдейтов: теперь делаем их не каждый месяц, а примерно раз в два месяца. Зато в каждом таком обновлении сразу прогоняем много моделей на пачке из примерно 100 свежих задач. Ещё один интересный момент: независимый исследователь прогнал наши задачи и задачи SWE-bench Pro на предмет качества. По его оценке, в нашем бенчмарке оказалось меньше задач с явными проблемами, чем в SWE-bench Pro. Это приятно, учитывая, что в последнем апдейте мы не смотрели задачи вручную: всё было собрано автоматически, тогда как в SWE-bench Pro было много ручной разметки. > SWE-rebench audit: 7 / 110 ≈ 6% unsolvable tasks > SWE-bench-PRO audit: 172 / 728 ≈ 24% unsolvable tasks Ещё я записал прямой эфир с ребятами про бенчмаркинг кодинговых агентов. @etechlead @ai_driven Очень классно поговорили о том, как всё устроено, какие есть проблемы в оценке моделей и как вообще стоит смотреть на такие бенчмарки. https://www.youtube.com/live/C0jDYsrBPuk

В начале апреля я выступал на AI Engineer Europe – и на днях вышло видео моего доклада! имхо: AI Engineer — сейчас одна из лучших конференций по прикладному AI. Еще у них есть YouTube-канал, на 500к+ подписчиков, куда выкладывают видео выступлений. Там много классных записей! видео доклада: https://youtu.be/wcUJWP6WpGM Я рассказывал про лидерборд SWE-rebench — динамический бенчмарк со свежими SWE-задачами с GitHub: https://swe-rebench.com/ Если бы мне нужно было выделить главные выводы, я бы выбрал эти: > Динамические бенчмарки помогают держать задачи свежими и снижают контаминацию. > Для запуска SWE-эвалов нужны не только GPU: вам также понадобится масштабируемая инфраструктура исполнения для сэндбоксов. > Хорошие задачи должны быть решаемыми, но при этом достаточно сложными и показывать значимую разницу между моделями. > Высококачественные верифицируемые эвалы могут стать основой для будущих датасетов для RL-обучения. P.S. Вышло забавно: на превью у них всегда лицо спикера. И для моей сессии они просто апскейлнули кусок кадра из видео — и получилась довольно вольная интерпретация моей внешности из низкого разрешения! (можете сравнить с фотографиями в профиле)

Когда-то в университетские годы мы много организовывали мероприятия с минимальным бюджетом. Концерт студвесны на два часа: с костюмами, реквизитом и типографией — умудрялись собрать примерно за 12 тысяч рублей. Потом были ивенты побольше. На одном из награждений нужно было накормить 100+ человек, а бюджет был всё такой же минимальный. Тогда мы собрали волонтёров, которые помогли приготовить огромный казан плова — им в итоге всех и накормили. С тех пор прошло много времени, но любовь к офлайн-ивентам осталась. Особенно в новых городах: это всё ещё один из лучших способов развиртуализироваться, познакомиться с людьми и быстрее погрузиться в локальное комьюнити. И вот теперь мы в Nebius делаем такой ивент уже в нашем лондонском офисе на Holborn 21 мая. Nebius.Build/LON — прикладной ивент для AI-билдеров. Будут выступления от ребят из NVIDIA, JetBrains, Wayve, Tavily и Nebius, разговоры про ML-инфру, inference scaling, agentic systems, продукты, ресёрч и всё, что вы сейчас строите. Плова на сто человек не обещаю, но еда, напитки и нетворкинг будут. Если вы в Лондоне и вам близка AI / ML / infra / agents-тусовка — приходите, буду рад увидеться! Регистрация тут: https://nebius.com/events/nebius-build-london

Буду в Казани, решил сделать небольшое выступление + встречу подписчиков. Поговорим про кодовых агентов. Сделал комфортный уровень для понимания, но при этом плотно по смыслу. Никакой сухой теории или пересказов чужих кейсов — сконцентрированный опыт по агентам и эвалам: как гоняем сами, как сравнивать модели итп. Будет полезно тем, кто уже ими пользуется и/или интересуется темой. Ещё добавил развлекательную часть: расскажу, как агенты «читерят», и поделюсь историями. Приходите, буду рад! Встречаемся в новом IT-парке 4 мая в 18:00 https://it-akademiya-3c.timepad.ru/event/3939782/

Как я смонтировал видео с лекции прямо с телефона (и без ручного труда) Выложил видео с недавнего выступления на Innovation Guild. Посмотреть можно тут. Я никогда не занимался видеомонтажом и не хотел тратить на это время. Был запрос: уложиться в час-два максимум и получить адекватное качество. Более того, я хотел сделать это автоматически и автономно , так что я запустил агента и вышел из дома, потом уже просто с телефона апдейтнул таски (с телефона есть доступ к tmux на маке). Кажется, сейчас записать и свести любую лекцию можно вообще без продакшена и минимальным ручным трудом (чтобы по airdrop скинуть материалы, запустить codex / Claude code и потом загрузить видео на YouTube). 📱 Оборудование: Два Айфона и штатив. > Один айфон стоял на штативе и писал видео. > Второй айфон просто положили рядом и включил диктофон. Использовать звук с камеры — плохая идея, он получается глухим и далеким. > На руках была обычная PDF-ка со слайдами презентации. 🛠 Workflow Я закинул тяжелое видео с камеры (около 30 ГБ), аудио с диктофона и PDF-презентацию в одну папку. Дальше попросил кодекс наложить и синхронизировать аудио с диктофона на видео и добавить слайды. Вот что он сделал по моему промпту: 1. Сжал 30-гиговый исходник под YouTube на 2.5 ГБ. 2. Аудио и видео были разной длины. Скрипт сам порезал, синхронизировал дорожки и наложил звук с диктофона на видеоряд. 3. На видео слайды с проектора засвечены и плохо читаются. Попросил скрипт вытащить каждый слайд из PDF в виде картинки, порезать видео на кадры и вставить чистые слайды по 15 секунд поверх видеоряда там, где они переключаются. (Когда слайдов немного, можно вручную подправить таймстемпы чтобы лучше синхронизировать, но я был с телефона и было лень) 4. В кубере был под с GPU. Я просто попросил Codex сходить на этот под, поставить туда Whisper, перекинуть аудиофайл, прогнать транскрибацию и вернуть готовые субтитры. Он там еще сверху шлифанул текст, так как я вставляю английскую терминологию в русский. И сделал сообщение с таймстемпами для ютуба. 5. Когда пришел домой выбрал из обложек для видео которые он сделал, попросил сделать одну правку и загрузил на ютуб. Теперь все публичные выступления буду так записывать и обрабатывать.

Без текста

Два доклада и как прошел AI Engineer: впечатления спикера Прошлая неделя выдалась плотной: я выступил с докладом про SWE-rebench Leaderboard два раза! Сначала заглянул на Innovation Guild. Хорошая аудитория, комфортная атмосфера. Получилось отлично пообщаться, классные вопросы — спасибо Айбулату за приглашение! Если вы в Лондоне, горячо рекомендую заглядывать к ним в офлайне. Про AI Engineer Europe. Это их первый ивент в Европе, и планку они задали высокую. В отличие от академических конференций, здесь выше концентрация более сенсорных практиков + удивило, что большая часть людей, с кем общался были не из Лондона а из СФ и около. Swyx ( один из оргов конфы), сказал, что для ребят из штатов – конфа – вариант, чтобы на деньги компании сгонят потусить в Лондон. Про спикеров: на кейноутах был Pragmatic Engineer, создатель OpenClaw и другие Еще мне повезло с соседями на ужине для спикеров, сидели рядом и общались с: > Matt Pocock (250k в x, 170k YouTube), первый человек не из СНГ, который знает про Казань), посоветовал сгонять на юго запад Англии и попробовать настолку quacks > Ryan Lopopolo из OpenAI, который написал вот эту статью про работу с агентами > Peter Gostev из llm-arena, создатель bullshit benchmark > Alex Volkov – ведет подкаст W&B, знал почти всех спикеров Отдельно рад был повидаться с ребятами: > Макс из tessl. Он уже написал свой фидбэк на конференцию, можете посмотреть > Боря из ElevenLabs. Он автор вирального проекта, где агенты общаются на своем языке . В этот раз они привезли настоящую английскую красную будку, где по телефону общаешься с моделью. Загляните к Боре в пост разбор как он это сделал, не зря его позвали в Антропик рассказать, как он взломал физический телефон Клод кодом. Также прикрепляю презентацию со своего выступления, а как только организаторы выложат видео — поделюсь ссылкой!