Кабинет
Data Blog

Data Blog

Интерпретируемость (AI) моделей и путь до phD, если автор не уйдет пасти овец. Сотрудничество, предложения, вопросы: @sabrina_sadiekh

Юзернейм
@jdata_blog
Категория
Технологии
Страна
РоссияРоссия
Создан
, 4 года
Подписчики2 547+8 за 6 дней
Просмотров на пост, 7 дн.624−1% к пред. 7 дн.
ERR24,50 %за 7 дней

Подписчики, 30 дней

9 нояб. – 15 нояб.+8 (+0,3%)

Показать таблицей
ДатаПодписчики
9 нояб. 2026 г.2 539
10 нояб. 2026 г.2 547
11 нояб. 2026 г.2 546
12 нояб. 2026 г.2 545
13 нояб. 2026 г.2 544
14 нояб. 2026 г.2 545
15 нояб. 2026 г.2 547

Средние просмотры поста по дням

По дню публикации

Показать таблицей
ДатаПросмотров на пост
17 окт. 2026 г.1 365
18 окт. 2026 г.1 563
27 окт. 2026 г.1 054
29 окт. 2026 г.1 143
4 нояб. 2026 г.631
12 нояб. 2026 г.624

Самые просматриваемые за месяц

  1. 01
    Просмотры1,56 тыс.
    Пересылки13
    Реакции26
    Комментарии7
  2. 02

    Гипотеза в эссе подкреплена разными экспериментами. В эссе они описаны достаточно подробно, но можно поделить их на три класса: 1. Демонстрация того, что смена инструмента способна почистить ответ. 2. Демонстрация того, как нейрон постепенно во время обучения обобщается до какого-то знания. Плюс анализ нейронов в моделях разного масштаба. 3. Проверка предсказания суперпозиции: сжали слой с 480 до 10 нейронов — упаковки не случилось, нейроны просто стали шире. Эксперименты до безумия красивые! Советую хотя бы посмотреть визуализации автора. И что случилось-то? Ложно можно подхватить, что тезис автора — «полисемантичность — дно». Более того, как принцип обучения гипотеза суперпозиции (та самая, что должна была полисемантичность объяснять) тоже не подтвердилась в его моделях. Но это не сделало что-либо дном! Автор скорее очень красиво показал bitter lesson для интерпретируемости: масштабировать обычное исследование сети может быть выгоднее, чем изобретать всё более хитрые декомпозиции. И показал, что superposition плохо работает как объяснение конкретного нейрона, ибо мы много опираемся на «не понимаю», и так же выглядят ошибки (а заметьте, что из постановки ошибок буквально нужно извертеться очень сильно, чтобы не допустить ни одну). И всё! Гипотезы остаются, методы — тоже! Надеюсь, после этого поста, вы уже разглядываете нейроны, потому что я — да.

    Превью ссылкиизменён
    Просмотры1,45 тыс.
    Пересылки15
    Реакции23
    Комментарии5
  3. 03

    Neural networks are already clean Считаю, что этот канал должен вызывать у вас любовь тыкать во всякие смешные вещи в нейросетях, потому что если бы не эта любовь — я бы уже давно пасла свою корову в горах. И тут привезли красивое — Ник Каммарата (ex OpenAI) из Goodfire написал невероятно большое эссе «Neural Networks Are Already Clean». Около часа чтения, но если у вас часа нет, но 15 минут на картинки надо найти я считаю — лучше мемов. Или нет. Я не определилась. TLDR: нейросети внутри устроены куда аккуратнее, чем все думали. Эссе безумно красивое, много невероятных визуализаций, так что не могу не оставить его здесь, а заодно разобрать, что значит «аккуратнее» и как «все думали». История: как думали В 2017 году в сети InceptionV1 нашли много чего и нейрон 4e:55, который загорался и на кошачьи морды, и на капоты машин. Это выглядело так, будто одна единица — нейрон означает одновременно «кот» и «капот». Такие нейроны назвали polysemantic — «многозначными». Более того, там же нашли, что некоторые нейроны кодируют якобы неясную кашу, отсюда выросла идея о том, что нейрон — не продуктивная единица анализа. Логично — полисемантичен и каше-подобен. 🥣 Почему один нейрон вообще может отвечать за несколько вещей или быть кашей? Было два объяснения: — Первое — generalization, обобщение. В двух словах — похожие вещи складываем в одно место. Пример: отвечая за наклон ушей одной собаки, удобно отвечать за наклон ушей собаки любой породы. — Второе — superposition, суперпозиция. Это в двух словах — будто класть на одну полку вещи, которые скорее всего никогда не понадобятся одновременно, например «собачьи уши» и «латинскую поэзию». Они не мешают друг другу и экономят место. Если верна первая картина, то всё круто — можно в теории найти нейрон достаточно общей "детали" и отключить его, например. Если вторая — сначала надо «распутать признаки», чтобы не отключить лишнего (этим занимаются SAE). Почему "думали не так": Гипотеза такова: «каша» в нейронах — артефакт инструментов и плохо обученной модели, а не свойство нейросетей вообще. Автор Каммарата привел ошибки (свои же, мои же, да и каждого исследователя в XAI, как мне кажется): * Наивная визуализация. Feature visualization — метод, который рисует картинку, максимально возбуждающую нейрон. Ранняя версия не была устойчива к сдвигам и поворотам, и картинки выходили шумными. Добавили устойчивость — те же нейроны стали чёткими. * Reward hacking визуализации. В глубоких слоях оптимизация картинки идёт по самому лёгкому пути — у InceptionV1 это часто собаки. Так, вместе с незамеченными pose-нейронами, и появился канонический «superposition circuit» из Zoom In: машина, якобы «спрятанная» среди собачьих нейронов. * Нехорошие данные для изучения. Из примеров автора — слишком короткие тексты (и из-за этого все нейроны, которые следят за длинным контекстом, выглядели бессмысленными) или недостаточно разнообразные примеры (когда в датасете просто не лежит того, на чем специализируется нейрон). * Неправильная метрика. Объяснения оценивали по тому, насколько хорошо они симулируют активации, а не по тому, верны ли они. Определить верность сложно в целом. * Забытая часть нейрона. У нейрона есть положительная и отрицательная активации. На отрицательную почти не смотрели. * Плохая архитектура самой анализируемой модели. Например, у часто анализируемой в зрении InceptionV1 нет residual stream, который есть во всех современных сетях. Поэтому последний слой «переполнялся» (сеть того же размера на тех же данных, но с residual-связями и LayerNorm, даёт чистый последний слой). Отсюда гипотеза Каммараты: «polysemantic» — это чаще утверждение о наблюдателе, а не о нейроне. Оно значит «у нас пока нет хорошего объяснения».

    Превью ссылкиизменён
    Просмотры1,28 тыс.
    Пересылки26
    Реакции25
    Комментарии2
  4. 04

    У меня тут сегодня в звонке прозвучала фраза дня: пока у чего-то нет теории или упорядочивания — я не понимаю. Фразу я вам, конечно, переврала, потому что забыла дословно, но смысл был такой. И это просто моя проблема/способ восприятия/другое словосочетение. Поэтому я люблю упорядочивать и смотреть на упорядоченное, так что собрала всякого, что у меня накидано в закладках в один пост, надеюсь, вы найдете для себя полезную штуку или, как минимум, вдохновитесь. Всё (почти) по XAI. В чем история. Область (вся) бежит безумно и наши словарные способности тоже — сколько новых терминов, описывающих старое, нагаллюициировано (много). Но если сильно замедлиться и посмотреть, как раньше было, то раньше все нудно пытались выделить категории и таксономии, свети их в одно и предложить лучшее. В таком подходе есть понятные характеристики и, по сути, дерево решений, сводящее в лист по вашей проблеме и её вводным. 📌️️️️️️Так вот таких было (и есть) много и по XAI: TEA Techniques — техники под  проектированые "responsible data-driven technologies". Что бы ни значило тут слово "отвественный", здесь собраны методы по категориям из ответа на вопрос "Какой метод может сделать мою систему более интерпретируемой/безопасной в смысле safety/безопасной в смысле security/прозрачной/справедливой?" и так далее. Методы интерпретирумости в ней собраны достаточно хаотично, но с примерами, отсюда можно смотреть, как како-либо метод поможет вам в обеспечении fairness. Which LIME should I trust? — ресурс по методу LIME. Все варианты суррогатных моделей. Они собраны так, что отвечают на вопрос "На каком этапе реализации LIME я могу изменить что-либо, чтобы испрвить [название проблемы] базового LIME?". Методы в том числе разложены по применимости суррогатов на разные модальности домен и по наличию кода. What's in the Bottle? — аналогичный ресурс по Concept Bottleneck Models —  моделям, у которых прогноз идёт через промежуточный слой человеко-понятных концептов, и общий вид модели — вход → концепты → ответ. Здесь, как я вижу, агрегация отвечает на вопрос: "Кто какой вариант CBM уже пробовал?" И старое, но сейчас уже таким не пользуются: XNLP — агрегированные статьи по методам XAI для NLP. В нем за 2013-2019 всего лишь 52 работы (может в том числе потому что их размечали люди). Единицы деления работ: тип объяснения, операции, которыми оно получено, визуализация и метрики оценки. Interactive-XAI — агрегированные статьи по методам XAI для CNN в задаче классификации изображений. Единицы деления работ: scope, usage, aim, applicability, methodology, modality, type. Methodology делится на backpropagation, perturbation, prototype, rule-based и прочее. xai-papers — просто XAI по типу данных, проблемы, объясняемой модели, задачи, объяснения, методу объяснения и венью конфы. HERMES — аналогично, с разделением на характеристики модель, задача, домен, тип пользователей, модальность объяснения, техника XAI. В этих нет явного вопроса, но есть задача — дать сводный взгляд на подобласть. Таким сейчас почти не пользуются (и сами эти ресурсы мертвы, как видите). Но я храню их как способ понять, по каким категориям мне может быть нужна сводка, если (когда) агент идет искать мне работы. 📌️️️️️️Такие есть и начинают появлятся по сейфти: здесь-могла-быть-моя-реклама-но я про свою карту писала, а тут ещё один красивый view — область AI Control/Alignment/ карты Лены (MrsWallbreaker). В картах литература собрана так, что она позволяет видеть открытые Research Questions. Помимо карт, есть словарь и генеалогия сейфти. AI Safety Research Tracker — скринер с LLM разметкой — какие статьи относятся к сейфти на все опубликованные в период. Вот, конец поста я не придумала, всем пятницы. В комментах, если у вас что-то есть подобное в карманах — призываю накидывать.

    Превью ссылкиизменён
    Просмотры1,14 тыс.
    Пересылки11
    Реакции17
    Комментарии4
  5. 05
    Просмотры1,12 тыс.
    Пересылки1
    Реакции37
    Комментарии5

Новые посты

#601Превью ссылки

Пятница должна быть днем мемов, но она завтра, а мы томно продолжаем сбор XAI-Lib, в этот раз mech interp в vision-language моделях. Напоминание: VLM (vision-language model) — модель, которая работает и с картинками, и с текстом. Spectra и статья про генеративные VLM: на вход картинка (или несколько, или видео) и текст, на выходе текст. Такая модель часто собрана из трёх частей: vision-энкодер режет картинку на патчи, адаптер превращает их в токены, дальше работает обычная языковая модель. Проблема, под которую позиционируются авторы: каждая модель раскладывает картинку по-своему. Qwen2.5-VL кладёт патчи подряд между токенами начала и конца картинки, а SmolVLM вставляет токены-разделители строк, и патчи идут уже не сплошным куском. Код «где тут картинка» приходится переписывать под каждую модель, и вот нужна Spectra — она берёт это на себя. Что внутри: — HookedVLM: обёртка над HuggingFace, обычные forward и generate остаются; — run_with_cache и run_with_hooks с именами хуков как в TransformerLens (lm.blocks.12.hook_resid_post); — утилиты, которые знают раскладку: где лежат токены картинки, какой патч какой области соответствует, пересчёт боксов и масок; — logit lens, который возвращает предсказания визуальных токенов обратно на картинку, и веб-приложение с logit lens, картами внимания и DLA; — модели: Qwen2.5-VL, Qwen3-VL, LLaVA 1.5 и SmolVLM. Для них реализован более красивый и удобный activation patching. В статье библиотека продемонстрирована на том, как Qwen3-VL-8B считает предметы (использованы logit lens плюс интервенции (обнуление позиций, блокировка внимания, патчинг)). Прочитать можно тут: https://aclanthology.org/2026.acl-demo.78/ Тезис на забрать: logit lens показывает, где число видно, а интервенции — что именно эти позиции модели не нужны. Видно — не значит стыдно (не я же одна знаю такую фразу...) используется. Это результат из демо-статьи как раз. Нюансы молодости либы: — хуки пока только в языковой части, vision-энкодер в планах; — только адаптерные архитектуры: cross-attention в духе Flamingo потребует нового адаптера; — статистики времени по кэшу и интервенциям (плюс X% — значит, на столько процентов дольше идёт прогон 300 картинок через LLaVA-1.5-7B по сравнению с обычным forward без хуков): кэш residual +2.1%, кэш паттернов внимания +28.4% (у чистого HF +11.1%), патчинг голов +72.3%; — 4 звезды, версия 0.1.0, на PyPI нет (ставится из git), коммитов в main с 28 февраля нет. README отстал от кода (в нём только UI-TARS-1.5-7B, а адаптеры есть для четырёх семейств: Qwen2.5-VL (3B, 7B, 72B и UI-TARS-1.5-7B на его основе), Qwen3-VL-8B, LLaVA 1.5 (7B, 13B) и SmolVLM (256M, 500M и SmolVLM-Instruct)); Бедный плюс: самая маленькая поддерживаемая модель — SmolVLM-256M. Код: https://github.com/clemneo/vlm-spectra Внесена и в табличку: https://xai-table.streamlit.app/ А ещё Logit lens для картинок мы уже трогали на ViT: https://github.com/SadSabrina/XAI-open_materials/tree/main/Logit%20Lens%20ViT Всем завтра хороших мемов и доброй ночи.

Открыть в Telegram
Просмотры624−25%к среднему
Пересылки5
Реакции18
Комментарии1
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
5 ч290
18 ч548
30 ч569
48 ч599
70 ч624
  1. Через 6 часов290
  2. Через 24 часа569
  3. Всего сейчас624
#600Текстизменён
Просмотры680−18%к среднему
Пересылки11
Реакции19
Комментарии3
#599Превью ссылкиизменён

Мы снова попали в сингулярность — модель поправила модель! Ссылки: статья, логи I Think, что почти все видели новость про то, что Astra поменяла модели веса и улучшила качество модели на задаче по математике. У этой новости, на самом деле, интересный (!) теоретический аппарат (почему это работает) и простой (!) метод, примененный моделью (как это она так поменяла). Как говорят, «без пива не разберешь», но давайте попробуем! Что было: Восемь экспериментов. Про математику был только последний, а так было ещё 7 задачек. Их можно разложить на три группы: — прочитать: авторы обучали сеть на одной задаче, отдавали Astra только веса текстом и спрашивали, чему сеть научилась. Игру она назвала верно в 4 случаях из 4. Какую фигуру рисует диффузионная модель — в 3 из 3. На каком языке учили маленький трансформер (Python, английский или японский латиницей), по одним средним слоям — в 3 из 3. А вот в задаче «какая из двух Gemma сикофант» (то есть поддакивает пользователю даже в неверном ответе) по одним весам Astra ответить не смогла; — починить: в физическом симуляторе машинка должна сдать назад, разогнаться и перепрыгнуть красную полосу. Сеть, обученная PPO, вместо этого въезжает на рампу и глохнет. Astra дописала в веса «подпрограмму»: сдай назад, дай газ, потом отдай руль старой сети. Изменено 3.5% весов, успех в 1024 эпизодах из 1024; — написать: слепить сети для игр без единого шага обучения. В Breakout такая сеть набирает 517 очков против 25 у PPO на 500M шагах. Ну, и математика на Qwen3.5-0.8B: MATH-500 с 7.9% до 48.1%, GSM8K с 13.8% до 67.1%, и IFEval с 21% до 62.3%. Что сделала Astra для задачи математики: Решила проблему. Qwen в thinking-режиме зицикливается (об этом предупреждает model card): 93% ответов на MATH-500 упираются в лимит 32k токенов. Astra сравнила активации на «продуктивных» и «зацикленных» кусках текста и нашла направление повтора u (своё для каждого слоя) в residual stream после слоёв 15 и 19. Дальше для 64 нейронов down_proj в каждом из двух слоёв: w ← w − 6·u(uᵀw) Компонента вдоль u меняет знак и растёт, остальное не трогается. Это steering, но на уровне весов. Правка меняет 131 072 веса, 0.016% модели. Почему это сработало? Свойство «я повторяюсь» было закодировано направлением, и его видно разностью средних. Почему бы не применить! Отличие от обычного стиринга такое — сдвиг пропорционален активации этих 64 нейронов, то есть срабатывает, только когда модель начинает зацикливаться. Почему это не сработало на Gemma? Авторы объясняют это так: Gemma 3 270M почти не зацикливается — на MATH-500 в лимит 8 192 токена упираются только 8.5% её ответов против 93% у Qwen. Её ошибки — арифметика и неверные шаги в алгебре, и одного компонента, который можно выключить, у них нет. А что по другим задачам? Как можно читать веса? Как мне кажется, сработали три идеи: — у входа и выхода известно, какой номер что значит («клетка (8,1)», «влево»), поэтому первый слой читается как картинка. По ней Astra и узнала игры. В Breakout веса «агента» собраны в нижней строке (ракетка), а «наград» — в верхних (кирпичи). В Pong ракетка — вертикальный столбец слева, и выход различает только «вверх» и «вниз». В Pac-Man веса агента рисуют коридоры лабиринта, и в ход идут все четыре направления. Во Freeway награда — верхняя строка, а движущиеся объекты разложены по горизонтальным полосам, как машины на дороге — у найденных индукционных голов есть структура, для которой не нужны эмбеддинги. Её видно по весам самих голов, точнее по тому, как две головы стыкуются друг с другом. — компиляция: нейрон с большими весами — это if, слой — шаг программы. Astra пишет эвристику по правилам игры и переводит её в веса. PPO учится по только награде (и может застрять в локальном минимуме), а модели дали правила и исходный код игры. Что ещё важно: — «Без градиентов» не значит «без обратной связи»! Было 50 прогонов до 512 генераций каждый и около 20 часов работы агента. — Нет бейзлайнов вроде repetition penalty или того же diff-of-means скриптом, без LLM.

Открыть в Telegram
Просмотры692−16%к среднему
Пересылки26
Реакции19
Комментарии15

Все посты

Связи