Кабинет

Посты канала Yandex Research

сначала новые

#13Фото

На следующей неделе на Yandex Research Reading Group обсудим интерпретируемость нейронов и новые постановки задач Information Retrieval. Встречаемся 17 ноября в 16:30 мск · Интерпретируемость нейронов. Георгий Якушев расскажет об исследовательской работе Goodfire AI, авторы которой предлагают пересмотреть гипотезу о полисемантичности нейронов и утверждают, что «базис» нейронов уже достаточно хорошо поддаётся интерпретации. · Усложнение стандартных задач Information Retrieval. Иван Рубачёв расскажет о новых бенчмарках OBLIQ-Bench и No More Free Lunch, которые позволяют проверять возможности систем Information Retrieval на более сложных запросах. Затем поговорим об одной из первых попыток решать подобные проблемы с помощью Amortized Reasoning Index (ARI) — подхода, который позволяет амортизировать вычисления дорогой «думающей» модели дообучением эмбеддингов на основе её фидбэка. zoom встречи · чат reading group Записи RG! Прошлая встреча была посвящена AI-агентам для автоматизации исследований и zero-order-оптимизации. Запись уже можно посмотреть на YouTube и в VK Видео. А ещё вышла запись выступления Димы Баранчука на Discrete Diffusion Reading Group. Там он рассказал о нашей работе про текстовые диффузионные модели. ⏩Yandex Research

Открыть в Telegram
Просмотры1 247−74%к среднему
Пересылки14
Реакции61
Комментарии0
#12Фото

Подбор гиперпараметров может потребовать тысяч запусков модели. Исследователи команды Tabular ML предложили PriorTune — способ заранее отобрать на синтетических данных небольшой набор конфигураций гиперпараметров, который позволяет получить лучшие результаты, чем случайный перебор и отбор на реальных данных. Табличные foundation-модели, такие как TabPFN и TabICL, предобучаются на синтетических датасетах. Мы использовали те же генераторы задач для подбора гиперпараметров классических моделей — LightGBM и MLP. Вместо того чтобы каждый раз начинать поиск с нуля, мы заранее отбираем конфигурации на большом наборе сгенерированных данных. На новых данных остаётся обучить модели с этими конфигурациями и выбрать лучшую или собрать ансамбль. Результаты На бенчмарке TabArena отбор из 25 заранее отобранных конфигураций для каждой модели — LightGBM и MLP — в среднем превосходит случайный поиск по 4000 конфигураций. Масштабный перебор может приводить к оверфиту на валидацию. PriorTune позволяет избежать этой проблемы за счёт мета-тюнинга на большом количестве синтетических задач. На расширенном бенчмарке BeyondArena ансамбль LightGBM с нашими гиперпараметрами и feature engineering (TabPrep) опережает по Elo последние модели, такие как TabM, RealMLP и TabPFN-3. При этом в наших замерах он быстрее этих моделей в скорости инференса. статья · код · сайт проекта · Hugging Face ⏩Yandex Research

Открыть в Telegram
Просмотры2 508−48%к среднему
Пересылки51
Реакции115
Комментарии24
#11Фото

У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research

Открыть в Telegram
Просмотры12 240+152%к среднему
Пересылки135
Реакции131
Комментарии3
#10Фотоизменён
Просмотры2 480−49%к среднему
Пересылки59
Реакции95
Комментарии2
#9Фото

У нашей GenAI команды вышла новая статья про посттрейн текстовых диффузионок: Representation-Space MMD for Diffusion Language Models MMD (Maximum Mean Discrepancy) позволяет сматчить два распределения по их сэмплам — без дополнительной обучаемой модели и генерации длинных траекторий. Мы сравниваем сгенерированные и реальные тексты в пространстве признаков замороженной DLM (Diffusion Language Models): MMD даёт обучающий сигнал, который приближает распределение генераций к реальным данным. Ранее мы пробовали этот метод для генерации картинок, а сейчас перенесли на текстовые диффузионки — как дискретные, так и непрерывные. Что получилось? На академических бенчмарках улучшили генеративную перплексию, не потеряв в энтропии. На математическом ризоннинге получили более высокую точность при меньшем числе шагов. Ещё сделали посттрейн 16B DMax-LLaDA2.0 на коде и математике. На всех протестированных бенчмарках получилось ускорить генерации при той же или более высокой точности. статья · код 📅 2 ноября Дима Баранчук расскажет про статью на Discrete Diffusion Reading Group (доклад на английском). Это семинар, где обсуждают работы о диффузионных языковых моделях. Подробности — в анонсе организаторов. ⏩Yandex Research

Открыть в Telegram
Просмотры3 034−37%к среднему
Пересылки28
Реакции112
Комментарии0
#7Фотоизменён

Привет! Это Yandex Research, исследовательское подразделение Яндекса в области машинного обучения. Мы занимаемся фундаментальными исследованиями и работаем совместно с командами, которые решают прикладные задачи. Из этого соседства рождаются совместные проекты, а у теоретических идей появляется путь к практике. Одни наши работы начинаются с теоретического вопроса, другие — с задачи конкретного сервиса. Результатом может стать научная статья, открытая модель, код или датасет. Иногда исследование становится частью продукта. Сейчас мы в основном работаем с табличными данными, графовым ML и генеративными моделями, а также над эффективностью и оптимизацией моделей. В канале будем делиться нашими статьями и препринтами, рассказывать об опенсорсных релизах и текущих исследованиях, публиковать анонсы ридинг-групп и записи встреч. ml residency · yandex research reading group · hardware efficiency reading group · X · сайт ⏩Yandex Research

Открыть в Telegram
Просмотры7 582+56%к среднему
Пересылки77
Реакции207
Комментарии—