🔥 Astra «починила» Qwen На днях прогремела новость: MIT CSAIL дали GPT-6 Astra поковыряться в весах открытой небольшой Qwen3.5-0.8B, и та вручную, без градиентов и файнтюна, вырезала баг с зацикливанием рассуждений. Результат впечатляет: MATH-500 (бенчмарк по решению математических задач) подскочил с 7.9% до 48.1%, а IFEval (бенчмарк на строгое соблюдение текстовых инструкций) — с 21% до 62.3%. Всё это — результат изменения всего 131 072 параметров, то есть 0.016% от общего числа. В новостях уже написали: «ИИ начал перепрограммировать ИИ», приписали Astra нечеловеческие способности в редактировании весов «на лету». Как это обычно бывает — это просто красивый заголовок. Давайте разберёмся. Осадим хайп: то, что сделала Astra — не «сверхчеловеческая» способность. В данном случае хорошей аналогией было бы сравнение с редактированием скомпилированного бинарника. Для его прямой редактуры нужно разобраться в ассемблере, какая инструкция за что отвечает, как преобразуется память в программе, и т.д. Это, безусловно, сложно, но люди давно умеют это делать. Суть в том, что Qwen изначально страдала от проблемы повторяющихся рассуждений — это было известно из её документации. Внутри модели каждый слой что-то «дописывает» к общему потоку мыслей, который идёт дальше. Astra сравнила, чем поток отличается, когда модель зацикливается и когда нет, и нашла один конкретный «сигнал», который приводит к зацикливанию. Оказалось, его добавляют два слоя — 15-й и 19-й. Astra не стала их ослаблять или вырезать — она просто отобрала у них возможность писать именно этот сигнал, оставив всё остальное как было. Правка затронула 64 столбца весов в двух слоях. Каждый столбец — это 1024 числа (hidden_size модели, «ширина» потока, который идёт сквозь все слои). Получается 2 × 64 × 1024 = 131 072 числа — те самые 0.016% весов. Специалисты (на одного из которых мы опираемся) считают, что обычное обучение остаётся более эффективным способом улучшения моделей. А ИИ принесёт больше пользы, если будет помогать оптимизировать сам процесс обучения, а не «ковыряться» в готовых весах. Тем не менее, техника Weight-Space Programming (прямое редактирование весов) — это мощный инструмент отладки. Если модель ведёт себя странно, мы теперь не просто пытаемся менять промпт или переобучить её с нуля, а можем точечно, хирургически поправить конкретные нейроны, ответственные за баг. Это будет экономить кучу времени и вычислений, если метод удастся сделать надёжным. Кроме того, новые красивые числа на бенчмарке были достигнуты путём увеличения числа попыток до 50. При 10-25 попытках на каждую задачу рост MATH-500 был с 7% до 14%. Это тоже отлично, но уже не такая красивая цифра, и не такой громкий заголовок. Не путайте прорыв с дорогим отладчиком. @TheOpenDevBlog
Открыть в TelegramДинамика просмотровСкрыть динамику
Рост просмотров
Часов после публикации
Показать таблицей
| Часов после публикации | Просмотры |
|---|---|
| 0 ч | 0 |
| 2 ч | 231 |
| 14 ч | 356 |
| 26 ч | 393 |
- Через 1 час231
- Через 24 часа393
- Всего сейчас393