Пятница должна быть днем мемов, но она завтра, а мы томно продолжаем сбор XAI-Lib, в этот раз mech interp в vision-language моделях. Напоминание: VLM (vision-language model) — модель, которая работает и с картинками, и с текстом. Spectra и статья про генеративные VLM: на вход картинка (или несколько, или видео) и текст, на выходе текст. Такая модель часто собрана из трёх частей: vision-энкодер режет картинку на патчи, адаптер превращает их в токены, дальше работает обычная языковая модель. Проблема, под которую позиционируются авторы: каждая модель раскладывает картинку по-своему. Qwen2.5-VL кладёт патчи подряд между токенами начала и конца картинки, а SmolVLM вставляет токены-разделители строк, и патчи идут уже не сплошным куском. Код «где тут картинка» приходится переписывать под каждую модель, и вот нужна Spectra — она берёт это на себя. Что внутри: — HookedVLM: обёртка над HuggingFace, обычные forward и generate остаются; — run_with_cache и run_with_hooks с именами хуков как в TransformerLens (lm.blocks.12.hook_resid_post); — утилиты, которые знают раскладку: где лежат токены картинки, какой патч какой области соответствует, пересчёт боксов и масок; — logit lens, который возвращает предсказания визуальных токенов обратно на картинку, и веб-приложение с logit lens, картами внимания и DLA; — модели: Qwen2.5-VL, Qwen3-VL, LLaVA 1.5 и SmolVLM. Для них реализован более красивый и удобный activation patching. В статье библиотека продемонстрирована на том, как Qwen3-VL-8B считает предметы (использованы logit lens плюс интервенции (обнуление позиций, блокировка внимания, патчинг)). Прочитать можно тут: https://aclanthology.org/2026.acl-demo.78/ Тезис на забрать: logit lens показывает, где число видно, а интервенции — что именно эти позиции модели не нужны. Видно — не значит стыдно (не я же одна знаю такую фразу...) используется. Это результат из демо-статьи как раз. Нюансы молодости либы: — хуки пока только в языковой части, vision-энкодер в планах; — только адаптерные архитектуры: cross-attention в духе Flamingo потребует нового адаптера; — статистики времени по кэшу и интервенциям (плюс X% — значит, на столько процентов дольше идёт прогон 300 картинок через LLaVA-1.5-7B по сравнению с обычным forward без хуков): кэш residual +2.1%, кэш паттернов внимания +28.4% (у чистого HF +11.1%), патчинг голов +72.3%; — 4 звезды, версия 0.1.0, на PyPI нет (ставится из git), коммитов в main с 28 февраля нет. README отстал от кода (в нём только UI-TARS-1.5-7B, а адаптеры есть для четырёх семейств: Qwen2.5-VL (3B, 7B, 72B и UI-TARS-1.5-7B на его основе), Qwen3-VL-8B, LLaVA 1.5 (7B, 13B) и SmolVLM (256M, 500M и SmolVLM-Instruct)); Бедный плюс: самая маленькая поддерживаемая модель — SmolVLM-256M. Код: https://github.com/clemneo/vlm-spectra Внесена и в табличку: https://xai-table.streamlit.app/ А ещё Logit lens для картинок мы уже трогали на ViT: https://github.com/SadSabrina/XAI-open_materials/tree/main/Logit%20Lens%20ViT Всем завтра хороших мемов и доброй ночи.
Открыть в TelegramДинамика просмотровСкрыть динамику
Рост просмотров
Часов после публикации
Показать таблицей
| Часов после публикации | Просмотры |
|---|---|
| 0 ч | 0 |
| 5 ч | 290 |
| 18 ч | 548 |
| 30 ч | 569 |
| 48 ч | 599 |
| 70 ч | 624 |
- Через 6 часов290
- Через 24 часа569
- Всего сейчас624








