Посты канала Love. Death. Transformers.

У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research

Mago Studio - opensource local-first end-to-end AI production studio Не прошло и месяца как Maga Mago Studio опенсорснули (в отличие от некоторых гарфилдов). Есть полноценные пайплайны для работы с картинками, видео, и генерации короткого метра из сценария. С историей настроек, возможностью итерации, редактирования, вот это вот все. С нормальным управлением проектами, а не все рендеры в кучу в общей истории и 'завтра разберусь' Локально крутится на Qwen 3.8 как LLM, Qwen 3VL для описания картинок и оценки генераций на соответствие промту, Minimax h3 для видео, Qwen Image/Edit, Flux - для генерации\редактирования картинок. Поскольку это опенсорс, можно легко заменить предлагаемые веса на эти ваши любимые unсensored lgtv+ abliterated furfag2000 edition, добавить свои модели, апи, сделать еще более ночную тему. И, что самое главное, дизайн разработан не программистами (A1111 привет) твит код лайк шер алишер, звезды в репу, пожелания в комменты

В это на Astra работает direct LLM patching (чёт мета оптимизации далеко зашли) https://rikiyat.github.io/blog/weight-space-programming/

а... а что это а почему без mtp

на мне французское дерьмо, конкретнее мистраль4-1Т https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B/blob/main/assets/technical_report.pdf

Без текста

Вообще поразительно насколько закупка енвов делает модели равными - купили мелкие челы энвов и все - мистраль хороший, reka хорошие, recursive flint отличный

всмысле desk reject на "codex skills scaling laws" это наука вообще то

Так что этт такое, как писал Слава ПТРК: "если русские что и умеют так это брать налоги", а тут жабовиноублюдия на повороте подрезала?? Типа челы цифровой ГУЛАГ быстрее построят? Ну ладно мы хоть его придумали

По шпалам - ламповый пиксельный 2д subway sUSSRfer админ в очередной раз упоролся и запилил пиксель-артный клон subway surfers в стиле ностальгического СССР по транссибу. Добавлен CRT фильтр - дабы пиксельарт смотрелся аутентично на этих ваших 4к 306 noscope HDR LGBT+ TV кидайте свои плацкартные воспоминания в пиксельарт стиле - добавим тыкать тут - https://rr.sxe.la/

Без текста

Формально он прав: сервера действительно утилизируют железо 24/7 и это сильно лучше чем у юзеров... Но почему то ездит Сэм не на автобусе

z.ai добавили оплату картой мир - хотел бы написать я, но добавили kimi

полетели

Без текста

Андрей Жижин на свой день рождения попросил меня выступить с рассказом о том каково текущее положение дел в математике в плане ии. Я что-то погрузился и в частности навайбкодил парсинг math.* архива с анализом упоминаний ии в статьях. Данные забавные получились так что выкладывю сюда. https://arxiv.nechitailo.org/ Оформлением занималась гпта, прошу прощения за слоп текст, лень приводить это адекватный вид а выложить хочется так что лучше так чем никак. Другая часть моего рассказа была посвящена разнообразным реакциям и мнениям сообщества. Если есть желание погрузиться, советую https://proofsandprompts.com

Без текста

Без текста

В твиттере почему то хайпует приложение chromography, я ещё несколько месяцев назад сделал себе бота с lut пресетами которые ну вот точно не подражают ничему, пользуйтесь. @lutphotobot

https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B Ldt предупреждающий, вон binance сломали из-за них

Без текста

https://www.aleksagordic.com/blog/collective-operations TPU... Особенный вид железок, у них есть куча особенностей collective операций которые вы скорее всего никогда не увидите, но читать про них чертовски интеерсно

Без текста

Без текста

https://ma-lab-berkeley.github.io/Nestor/

https://www.percepta.ai/blog/constructing-llm-computer океей есть еще одна работа почти 1в1

Все llm стейтмашины, при некоторой фантазии можно использовать deltanet как RAM - можно в нее записывать и считаывать значения 1в1, а значит осталось только запечь иснтрукции к токены и испольнять RISCV инструкции полностью детерминированно https://divagr.com/blog/qwenputer

JEV FIGHT Чуваки опенсорснули файтинг, в котором decision-модели пиздятся друг с другом. Каждый ход модель получает состояние боя здоровье, дистанцию, действия соперника и выбирает следующий приём. На картинке рейтинг 18 моделей по 306 боям со стандартными настройками. Можно выставить своего бойца: выбрать модель и персонажа, написать стратегию, придумать ник и отправить в арену. У пользовательских конфигов отдельный рейтинг, бои доступны в реплеях. Есть mental attack: вместо физического удара модель может отправить подготовленный текст в следующий промпт соперника. Например, убедить его стоять и ничего не делать. Здоровье от текста не меняется — нужно заставить противника самому выбрать хуёвый ход. Всё можно запустить локально, а бойцов и турниры задавать через JSON без ручных сабмитов. Реплеи и встроенные боты работают без ключей; для новых API-боёв нужны свои. Арена собрать своего бойца GitHub код и локальный запуск Блог устройство игры и результаты

Один лайк и мозг мухи внутрь

🌍 World Model который мы заслужили, но не просили https://youtu.be/sFfPkUJd_Jk?is=1NsdqtO9vnY1ObBy