Love. Death. Transformers.

У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell. FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации. Что сделали? Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе. Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему. Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных. Что получилось? MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4. Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16. статья · код · Hugging Face ⏩Yandex Research

Mago Studio - opensource local-first end-to-end AI production studio Не прошло и месяца как Maga Mago Studio опенсорснули (в отличие от некоторых гарфилдов). Есть полноценные пайплайны для работы с картинками, видео, и генерации короткого метра из сценария. С историей настроек, возможностью итерации, редактирования, вот это вот все. С нормальным управлением проектами, а не все рендеры в кучу в общей истории и 'завтра разберусь' Локально крутится на Qwen 3.8 как LLM, Qwen 3VL для описания картинок и оценки генераций на соответствие промту, Minimax h3 для видео, Qwen Image/Edit, Flux - для генерации\редактирования картинок. Поскольку это опенсорс, можно легко заменить предлагаемые веса на эти ваши любимые unсensored lgtv+ abliterated furfag2000 edition, добавить свои модели, апи, сделать еще более ночную тему. И, что самое главное, дизайн разработан не программистами (A1111 привет) твит код лайк шер алишер, звезды в репу, пожелания в комменты

В это на Astra работает direct LLM patching (чёт мета оптимизации далеко зашли) https://rikiyat.github.io/blog/weight-space-programming/

а... а что это а почему без mtp

на мне французское дерьмо, конкретнее мистраль4-1Т https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B/blob/main/assets/technical_report.pdf

No text

Вообще поразительно насколько закупка енвов делает модели равными - купили мелкие челы энвов и все - мистраль хороший, reka хорошие, recursive flint отличный

всмысле desk reject на "codex skills scaling laws" это наука вообще то

Так что этт такое, как писал Слава ПТРК: "если русские что и умеют так это брать налоги", а тут жабовиноублюдия на повороте подрезала?? Типа челы цифровой ГУЛАГ быстрее построят? Ну ладно мы хоть его придумали

По шпалам - ламповый пиксельный 2д subway sUSSRfer админ в очередной раз упоролся и запилил пиксель-артный клон subway surfers в стиле ностальгического СССР по транссибу. Добавлен CRT фильтр - дабы пиксельарт смотрелся аутентично на этих ваших 4к 306 noscope HDR LGBT+ TV кидайте свои плацкартные воспоминания в пиксельарт стиле - добавим тыкать тут - https://rr.sxe.la/