На следующей неделе на Yandex Research Reading Group обсудим интерпретируемость нейронов и новые постановки задач Information Retrieval. Встречаемся 17 ноября в 16:30 мск · Интерпретируемость нейронов. Георгий Якушев расскажет об исследовательской работе Goodfire AI, авторы которой предлагают пересмотреть гипотезу о полисемантичности нейронов и утверждают, что «базис» нейронов уже достаточно хорошо поддаётся интерпретации. · Усложнение стандартных задач Information Retrieval. Иван Рубачёв расскажет о новых бенчмарках OBLIQ-Bench и No More Free Lunch, которые позволяют проверять возможности систем Information Retrieval на более сложных запросах. Затем поговорим об одной из первых попыток решать подобные проблемы с помощью Amortized Reasoning Index (ARI) — подхода, который позволяет амортизировать вычисления дорогой «думающей» модели дообучением эмбеддингов на основе её фидбэка. zoom встречи · чат reading group Записи RG! Прошлая встреча была посвящена AI-агентам для автоматизации исследований и zero-order-оптимизации. Запись уже можно посмотреть на YouTube и в VK Видео. А ещё вышла запись выступления Димы Баранчука на Discrete Diffusion Reading Group. Там он рассказал о нашей работе про текстовые диффузионные модели. ⏩Yandex Research
Open in Telegram
Yandex Research
Канал команды Yandex Research про теоретические и прикладные исследования. Рассказываем о статьях и препринтах, делимся опенсорсными релизами, показываем исследования в процессе и зовём на ридинг-группы. research.yandex.com @yandex_ml_brand
Subscribers, 30 days
Nov 15 – Nov 16+5 (+0.3%)
Show as table
| Date | Subscribers |
|---|---|
| Nov 15, 2026 | 1,640 |
| Nov 16, 2026 | 1,645 |
Average views per post by day
By publication day
Show as table
| Date | Avg views per post |
|---|---|
| Oct 23, 2026 | 7,582 |
| Oct 30, 2026 | 3,034 |
| Nov 2, 2026 | 2,480 |
| Nov 3, 2026 | 12,240 |
| Nov 5, 2026 | 2,508 |
| Nov 13, 2026 | 1,247 |
Most viewed this month
- 01Views12.2KForwards135Reactions131Comments3
- 02Views7.58KForwards77Reactions207Comments—
- 03Views3.03KForwards28Reactions112Comments0
- 04Views2.51KForwards51Reactions115Comments24
- 05Views2.48KForwards59Reactions95Comments2
Latest posts
Подбор гиперпараметров может потребовать тысяч запусков модели. Исследователи команды Tabular ML предложили PriorTune — способ заранее отобрать на синтетических данных небольшой набор конфигураций гиперпараметров, который позволяет получить лучшие результаты, чем случайный перебор и отбор на реальных данных. Табличные foundation-модели, такие как TabPFN и TabICL, предобучаются на синтетических датасетах. Мы использовали те же генераторы задач для подбора гиперпараметров классических моделей — LightGBM и MLP. Вместо того чтобы каждый раз начинать поиск с нуля, мы заранее отбираем конфигурации на большом наборе сгенерированных данных. На новых данных остаётся обучить модели с этими конфигурациями и выбрать лучшую или собрать ансамбль. Результаты На бенчмарке TabArena отбор из 25 заранее отобранных конфигураций для каждой модели — LightGBM и MLP — в среднем превосходит случайный поиск по 4000 конфигураций. Масштабный перебор может приводить к оверфиту на валидацию. PriorTune позволяет избежать этой проблемы за счёт мета-тюнинга на большом количестве синтетических задач. На расширенном бенчмарке BeyondArena ансамбль LightGBM с нашими гиперпараметрами и feature engineering (TabPrep) опережает по Elo последние модели, такие как TabM, RealMLP и TabPFN-3. При этом в наших замерах он быстрее этих моделей в скорости инференса. статья · код · сайт проекта · Hugging Face ⏩Yandex Research
Open in TelegramУ нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research
Open in TelegramНа этой неделе на Yandex Research Reading Group поговорим об агентах для автоматизации исследований и zero-order оптимизации. Встречаемся 3 ноября в 16:30 мск. · Zero-order оптимизация. Денис Кузнеделев расскажет про EggROLL (коротко), DUST и последние обновления в noise спидране. · Агенты для исследований. Иван Рубачёв расскажет об использовании агентов для подбора гиперпараметров оптимизатора. Затем обсудим, насколько хорошо современные агенты справляются с открытыми исследовательскими задачами (open-ended research). В оставшееся время поговорим об исследованиях самих агентов и устройстве харнессов для исследовательских агентов: 1, 2, 3. zoom встречи · чат reading group Записи RG! Запись прошлой встречи, на которой говорили про наши недавние работы по ML на табличных данных, уже доступна на YouTube и в VK видео. ⏩Yandex Research
Open in TelegramУ нашей GenAI команды вышла новая статья про посттрейн текстовых диффузионок: Representation-Space MMD for Diffusion Language Models MMD (Maximum Mean Discrepancy) позволяет сматчить два распределения по их сэмплам — без дополнительной обучаемой модели и генерации длинных траекторий. Мы сравниваем сгенерированные и реальные тексты в пространстве признаков замороженной DLM (Diffusion Language Models): MMD даёт обучающий сигнал, который приближает распределение генераций к реальным данным. Ранее мы пробовали этот метод для генерации картинок, а сейчас перенесли на текстовые диффузионки — как дискретные, так и непрерывные. Что получилось? На академических бенчмарках улучшили генеративную перплексию, не потеряв в энтропии. На математическом ризоннинге получили более высокую точность при меньшем числе шагов. Ещё сделали посттрейн 16B DMax-LLaDA2.0 на коде и математике. На всех протестированных бенчмарках получилось ускорить генерации при той же или более высокой точности. статья · код 📅 2 ноября Дима Баранчук расскажет про статью на Discrete Diffusion Reading Group (доклад на английском). Это семинар, где обсуждают работы о диффузионных языковых моделях. Подробности — в анонсе организаторов. ⏩Yandex Research
Open in TelegramПривет! Это Yandex Research, исследовательское подразделение Яндекса в области машинного обучения. Мы занимаемся фундаментальными исследованиями и работаем совместно с командами, которые решают прикладные задачи. Из этого соседства рождаются совместные проекты, а у теоретических идей появляется путь к практике. Одни наши работы начинаются с теоретического вопроса, другие — с задачи конкретного сервиса. Результатом может стать научная статья, открытая модель, код или датасет. Иногда исследование становится частью продукта. Сейчас мы в основном работаем с табличными данными, графовым ML и генеративными моделями, а также над эффективностью и оптимизацией моделей. В канале будем делиться нашими статьями и препринтами, рассказывать об опенсорсных релизах и текущих исследованиях, публиковать анонсы ридинг-групп и записи встреч. ml residency · yandex research reading group · hardware efficiency reading group · X · сайт ⏩Yandex Research
Open in TelegramConnections
Similar channels
Love. Death. Transformers.@lovedeathtransformersTechnologies26.3K
Горизонты и векторы технологий@forecastidTechnologies1.65K
НПО Лавочкина 🛰@npolaspaceTechnologies1.64K
HolyJS — канал конференции@holyjs_channelTechnologies1.65K
Гостев из будущего@gostev_futureTechnologies1.64K
РЭБ Мухобой@swatter_jammerTechnologies1.66K
Обзорная | Технологии и гаджеты@obzornayaruTechnologies1.63K
Remote Meme Execution@remotememeexecutionTechnologies1.67K
Mentioned by
Love. Death. Transformers.@lovedeathtransformers1 mention, 1 repostLatest post