Кабинет
Yandex Research

Yandex Research

Канал команды Yandex Research про теоретические и прикладные исследования. Рассказываем о статьях и препринтах, делимся опенсорсными релизами, показываем исследования в процессе и зовём на ридинг-группы. research.yandex.com @yandex_ml_brand

Юзернейм
@yandexresearch
Категория
Технологии
Страна
РоссияРоссия
Создан
, 6 месяцев
Подписчики1 645+5 за 1 день
Просмотров на пост, 7 дн.1 247−78,3% к пред. 7 дн.
ERR75,81 %за 7 дней

Подписчики, 30 дней

15 нояб. – 16 нояб.+5 (+0,3%)

Показать таблицей
ДатаПодписчики
15 нояб. 2026 г.1 640
16 нояб. 2026 г.1 645

Средние просмотры поста по дням

По дню публикации

Показать таблицей
ДатаПросмотров на пост
23 окт. 2026 г.7 582
30 окт. 2026 г.3 034
2 нояб. 2026 г.2 480
3 нояб. 2026 г.12 240
5 нояб. 2026 г.2 508
13 нояб. 2026 г.1 247

Самые просматриваемые за месяц

  1. 01

    У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research

    Фото
    Просмотры12,2 тыс.
    Пересылки135
    Реакции131
    Комментарии3
  2. 02

    Привет! Это Yandex Research, исследовательское подразделение Яндекса в области машинного обучения. Мы занимаемся фундаментальными исследованиями и работаем совместно с командами, которые решают прикладные задачи. Из этого соседства рождаются совместные проекты, а у теоретических идей появляется путь к практике. Одни наши работы начинаются с теоретического вопроса, другие — с задачи конкретного сервиса. Результатом может стать научная статья, открытая модель, код или датасет. Иногда исследование становится частью продукта. Сейчас мы в основном работаем с табличными данными, графовым ML и генеративными моделями, а также над эффективностью и оптимизацией моделей. В канале будем делиться нашими статьями и препринтами, рассказывать об опенсорсных релизах и текущих исследованиях, публиковать анонсы ридинг-групп и записи встреч. ml residency · yandex research reading group · hardware efficiency reading group · X · сайт ⏩Yandex Research

    Фотоизменён
    Просмотры7,58 тыс.
    Пересылки77
    Реакции207
    Комментарии—
  3. 03

    У нашей GenAI команды вышла новая статья про посттрейн текстовых диффузионок: Representation-Space MMD for Diffusion Language Models MMD (Maximum Mean Discrepancy) позволяет сматчить два распределения по их сэмплам — без дополнительной обучаемой модели и генерации длинных траекторий. Мы сравниваем сгенерированные и реальные тексты в пространстве признаков замороженной DLM (Diffusion Language Models): MMD даёт обучающий сигнал, который приближает распределение генераций к реальным данным. Ранее мы пробовали этот метод для генерации картинок, а сейчас перенесли на текстовые диффузионки — как дискретные, так и непрерывные. Что получилось? На академических бенчмарках улучшили генеративную перплексию, не потеряв в энтропии. На математическом ризоннинге получили более высокую точность при меньшем числе шагов. Ещё сделали посттрейн 16B DMax-LLaDA2.0 на коде и математике. На всех протестированных бенчмарках получилось ускорить генерации при той же или более высокой точности. статья · код 📅 2 ноября Дима Баранчук расскажет про статью на Discrete Diffusion Reading Group (доклад на английском). Это семинар, где обсуждают работы о диффузионных языковых моделях. Подробности — в анонсе организаторов. ⏩Yandex Research

    Фото
    Просмотры3,03 тыс.
    Пересылки28
    Реакции112
    Комментарии0
  4. 04

    Подбор гиперпараметров может потребовать тысяч запусков модели. Исследователи команды Tabular ML предложили PriorTune — способ заранее отобрать на синтетических данных небольшой набор конфигураций гиперпараметров, который позволяет получить лучшие результаты, чем случайный перебор и отбор на реальных данных. Табличные foundation-модели, такие как TabPFN и TabICL, предобучаются на синтетических датасетах. Мы использовали те же генераторы задач для подбора гиперпараметров классических моделей — LightGBM и MLP. Вместо того чтобы каждый раз начинать поиск с нуля, мы заранее отбираем конфигурации на большом наборе сгенерированных данных. На новых данных остаётся обучить модели с этими конфигурациями и выбрать лучшую или собрать ансамбль. Результаты На бенчмарке TabArena отбор из 25 заранее отобранных конфигураций для каждой модели — LightGBM и MLP — в среднем превосходит случайный поиск по 4000 конфигураций. Масштабный перебор может приводить к оверфиту на валидацию. PriorTune позволяет избежать этой проблемы за счёт мета-тюнинга на большом количестве синтетических задач. На расширенном бенчмарке BeyondArena ансамбль LightGBM с нашими гиперпараметрами и feature engineering (TabPrep) опережает по Elo последние модели, такие как TabM, RealMLP и TabPFN-3. При этом в наших замерах он быстрее этих моделей в скорости инференса. статья · код · сайт проекта · Hugging Face ⏩Yandex Research

    Фото
    Просмотры2,51 тыс.
    Пересылки51
    Реакции115
    Комментарии24
  5. 05
    Просмотры2,48 тыс.
    Пересылки59
    Реакции95
    Комментарии2

Новые посты

#13Фото

На следующей неделе на Yandex Research Reading Group обсудим интерпретируемость нейронов и новые постановки задач Information Retrieval. Встречаемся 17 ноября в 16:30 мск · Интерпретируемость нейронов. Георгий Якушев расскажет об исследовательской работе Goodfire AI, авторы которой предлагают пересмотреть гипотезу о полисемантичности нейронов и утверждают, что «базис» нейронов уже достаточно хорошо поддаётся интерпретации. · Усложнение стандартных задач Information Retrieval. Иван Рубачёв расскажет о новых бенчмарках OBLIQ-Bench и No More Free Lunch, которые позволяют проверять возможности систем Information Retrieval на более сложных запросах. Затем поговорим об одной из первых попыток решать подобные проблемы с помощью Amortized Reasoning Index (ARI) — подхода, который позволяет амортизировать вычисления дорогой «думающей» модели дообучением эмбеддингов на основе её фидбэка. zoom встречи · чат reading group Записи RG! Прошлая встреча была посвящена AI-агентам для автоматизации исследований и zero-order-оптимизации. Запись уже можно посмотреть на YouTube и в VK Видео. А ещё вышла запись выступления Димы Баранчука на Discrete Diffusion Reading Group. Там он рассказал о нашей работе про текстовые диффузионные модели. ⏩Yandex Research

Открыть в Telegram
Просмотры1 247−74%к среднему
Пересылки14
Реакции61
Комментарии0
#12Фото

Подбор гиперпараметров может потребовать тысяч запусков модели. Исследователи команды Tabular ML предложили PriorTune — способ заранее отобрать на синтетических данных небольшой набор конфигураций гиперпараметров, который позволяет получить лучшие результаты, чем случайный перебор и отбор на реальных данных. Табличные foundation-модели, такие как TabPFN и TabICL, предобучаются на синтетических датасетах. Мы использовали те же генераторы задач для подбора гиперпараметров классических моделей — LightGBM и MLP. Вместо того чтобы каждый раз начинать поиск с нуля, мы заранее отбираем конфигурации на большом наборе сгенерированных данных. На новых данных остаётся обучить модели с этими конфигурациями и выбрать лучшую или собрать ансамбль. Результаты На бенчмарке TabArena отбор из 25 заранее отобранных конфигураций для каждой модели — LightGBM и MLP — в среднем превосходит случайный поиск по 4000 конфигураций. Масштабный перебор может приводить к оверфиту на валидацию. PriorTune позволяет избежать этой проблемы за счёт мета-тюнинга на большом количестве синтетических задач. На расширенном бенчмарке BeyondArena ансамбль LightGBM с нашими гиперпараметрами и feature engineering (TabPrep) опережает по Elo последние модели, такие как TabM, RealMLP и TabPFN-3. При этом в наших замерах он быстрее этих моделей в скорости инференса. статья · код · сайт проекта · Hugging Face ⏩Yandex Research

Открыть в Telegram
Просмотры2 508−48%к среднему
Пересылки51
Реакции115
Комментарии24
#11Фото

У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research

Открыть в Telegram
Просмотры12 240+152%к среднему
Пересылки135
Реакции131
Комментарии3
#10Фотоизменён
Просмотры2 480−49%к среднему
Пересылки59
Реакции95
Комментарии2
#9Фото

У нашей GenAI команды вышла новая статья про посттрейн текстовых диффузионок: Representation-Space MMD for Diffusion Language Models MMD (Maximum Mean Discrepancy) позволяет сматчить два распределения по их сэмплам — без дополнительной обучаемой модели и генерации длинных траекторий. Мы сравниваем сгенерированные и реальные тексты в пространстве признаков замороженной DLM (Diffusion Language Models): MMD даёт обучающий сигнал, который приближает распределение генераций к реальным данным. Ранее мы пробовали этот метод для генерации картинок, а сейчас перенесли на текстовые диффузионки — как дискретные, так и непрерывные. Что получилось? На академических бенчмарках улучшили генеративную перплексию, не потеряв в энтропии. На математическом ризоннинге получили более высокую точность при меньшем числе шагов. Ещё сделали посттрейн 16B DMax-LLaDA2.0 на коде и математике. На всех протестированных бенчмарках получилось ускорить генерации при той же или более высокой точности. статья · код 📅 2 ноября Дима Баранчук расскажет про статью на Discrete Diffusion Reading Group (доклад на английском). Это семинар, где обсуждают работы о диффузионных языковых моделях. Подробности — в анонсе организаторов. ⏩Yandex Research

Открыть в Telegram
Просмотры3 034−37%к среднему
Пересылки28
Реакции112
Комментарии0
#7Фотоизменён

Привет! Это Yandex Research, исследовательское подразделение Яндекса в области машинного обучения. Мы занимаемся фундаментальными исследованиями и работаем совместно с командами, которые решают прикладные задачи. Из этого соседства рождаются совместные проекты, а у теоретических идей появляется путь к практике. Одни наши работы начинаются с теоретического вопроса, другие — с задачи конкретного сервиса. Результатом может стать научная статья, открытая модель, код или датасет. Иногда исследование становится частью продукта. Сейчас мы в основном работаем с табличными данными, графовым ML и генеративными моделями, а также над эффективностью и оптимизацией моделей. В канале будем делиться нашими статьями и препринтами, рассказывать об опенсорсных релизах и текущих исследованиях, публиковать анонсы ридинг-групп и записи встреч. ml residency · yandex research reading group · hardware efficiency reading group · X · сайт ⏩Yandex Research

Открыть в Telegram
Просмотры7 582+56%к среднему
Пересылки77
Реакции207
Комментарии—

Все посты

Связи