Posts of RnD ML Team

📝 ML Edge Engineer 👥 О команде: Мы — исследовательская команда на переднем крае LLM-технологий. Ищем архитектурные ходы, новые способы оптимизации архитектур, нестандартные режимы рассуждений — всё, что может дать кратный прирост качества/скорости. TLDR: ищем сильного инженера, который будет делать наши модели быстрыми и дешёвыми в инференсе — от квантизации и дистилляции до разработки CUDA-ядер под новое железо. 👁 Требования: — Уверенный Python и PyTorch, глубокое понимание архитектуры GPU: иерархия памяти, тензорные ядра, профилирование. — Опыт дистилляции и квантизации LLM/VLM: PTQ и QAT; работа с форматами INT8/INT4, FP8, FP4/MXFP, bf16, понимание, где и почему падает качество и как его вернуть. — Написание и оптимизация CUDA-ядер (CUTLASS, Triton, CUDA C++): матричные умножители, fused attention, кастомные операторы под Blackwell; понимание особенностей новых поколениях чипов. — Уверенный PyTorch; опыт с инференс-стеками (TensorRT-LLM, vLLM, SGLang или аналоги) и компиляторами (torch.compile, Triton, TVM/XLA). — Опыт самостоятельного ведения экспериментов: от гипотезы до бенчмарка и внедрения в пайплайн. 👁 Задачи: — Квантизация и дистилляция NextGenAI-моделей с минимальной потерей качества; построение воспроизводимых пайплайнов оценки точности после сжатия. — Оптимизация обучения и инференса под разные форматы (FP8, FP4/MXFP). — Разработка и оптимизация матричных умножителей и CUDA-ядер под Nvidia Blackwell: использование новых тензорных ядер и форматов, fused-операторы, снижение latency и рост throughput. — Портирование и оптимизация моделей под кастомные AI-чипы: работа с SDK вендоров, компиляторами и рантаймами, бенчмарки и сравнение с GPU-бейзлайном. HR: @VeronikaShel Teamlead: @nagadit #job #hr #nextgenai

No text

No text

No text

No text

No text

🎉 Три статьи на EMNLP 2026 (WSLP) Мы уже писали ранее, что все три наши работы про распознавание дактиля приняты на WSLP-2026 в рамках EMNLP в Будапеште. Вчера наконец-то состоялась презентация работ. К сожалению, авторы не смогли присутствовать очно, но наш коллега @Victor131116 героически привез постеры и отвечал на вопросы посетителей! О чем статьи? 📚 Bukva: Russian Sign Language Alphabet https://arxiv.org/abs/2410.08675 Первый открытый датасет для распознавания дактильной азбуки РЖЯ: 3757 видео, 33 буквы (включая 8 динамических), 155 носителей языка. Бейзлайн на легковесных TSM + MobileNetV2 даёт 83,6% top-1 accuracy и работает в реальном времени на одном ядре среднего CPU. На его основе мы сделали демо-тренажёр для изучения дактиля. 🤟 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition https://arxiv.org/abs/2505.10267 Семейство из трёх архитектур для распознавания дактиля: HandReader_RGB (с новым модулем TSAM, который обрабатывает видео разной длины без паддинга и обрезки), HandReader_KP (с кодировщиком ключевых точек ладони) и HandReader_RGB+KP, объединяющий обе модальности. Получили SOTA на зарубенжых бенчмарках ChicagoFSWild+ (75,6) и лучший результат на ChicagoFSWild среди моделей, обученных только на собственном претрейне. ✍️ Znaki: A Russian Fingerspelling Recognition Dataset Первый открытый датасет непрерывного дактилирования для РЖЯ: 37252 видео (35,4 часа), 1593 уникальные последовательности (имена собственные из 16 категорий), 68 носителей РЖЯ (в том числе сертифицированные переводчики). Сбор шёл через краудсорсинг с двухэтапным отбором исполнителей и экспертной валидацией. Бейзлайны, адаптированные под американский жестовый язык ASL, выдают метрику до 0,932 по 1−CER и 0,596 по sequence accuracy. 🖥️ Код выложим в открытый доступ. #release #emnlp2026 #conference

🎤 Три дня про ИИ в штаб-квартире Сбера Через месяц в штаб-квартире Сбера пройдёт AI Journey 2026 — ежегодная международная конференция для тех, кто делает ИИ и внедряет его в продукты и процессы. Соберутся спикеры со всего мира, скучно точно не будет 🔥 Каждый день у нас про своё: 🌍 26 ноября — День общества Говорим о роли ИИ сейчас и в будущем, о том, как технологии меняют отношения между людьми, и показываем инструменты для начинающих исследователей. Этот день полностью онлайн! 💼 27 ноября — День бизнеса Только решения, которые работают уже сегодня. Коллеги расскажут, как превращают сложные модели в реальные продукты, и поделятся тем, что получилось. 🔬 28 ноября — День науки Самые свежие исследования, доклады учёных из топовых российских и международных компаний и постерная сессия статей уровня конференций A/A*. Что ещё будет: 🖥 Выставка продуктовых и исследовательских ИИ-разработок ⚙️ AIJ Deep Dive: технические доклады без лишней воды 🎙 AIJ Global: выступления лидеров индустрии 🤝 Живое знакомство с ИИ-сообществом, ради него многие и приезжают 🔗 Регистрируйтесь здесь #aij #conference #event

No text

No text

No text

No text

🤟 Ziggy: американский жестовый язык в телефоне Ziggy — приложение для изучения ASL (American Sign Language) по коротким видеоурокам, эдакий аналог "Duolingo", сейчас активно вирусится в тиктоке. Приложение подойдет тем, кто хочет общаться с носителями жестового языка, глухими родственниками или друзьями, или просто хочет освоить новый язык. Есть версия на iOS и Android. 🧠️️️️️️ 30+ учебных разделов и 500+ жестов, слов и фраз для повседневного общения, интерактивные видеоуроки, квизы и практические упражнения-повторения для долгосрочного запоминания. Также есть словарь ASL, отслеживание прогресса и ежедневные серии занятий. Темы самые разные: диалоги, семья, еда, путешествия, работа, эмоции, числа и другие. Уроки рассчитаны и на новичков, и на тех, кто уже знаком с ASL. 👩‍💻 Помимо ZIggy есть и другие аналоги: • Pocket Sign — популярное приложение с упором на дактиль (азбуку жестов), ежедневные мини-уроки, видеодемонстрации и карточки для запоминания. • ASL Bloom — приложение с акцентом на базовый уровень без обязательной подписки в начале обучения. • Lingvano — сервис с интерактивными уроками, практикой мимики и выражений лица (что критически важно в языке жестов), диалогами из реальной жизни. • SignSchool — интерактивная платформа и приложение с бесплатными базовыми курсами и большим словарем жестов. • Rocket: Learn Languages (ASL) — курс, затрагивающий не только практику жестов, но и культуру, историю, грамматику и синтаксис глухих людей. 📓️️️️️️ В российском сегменте приложений не много. Есть студенческая работа в ruStore (из минусов — неактуальные жесты в словаре, нет интерактивного изучения и формат приложения больше похож на словарь) и аппка Давай жестами с клевым интерфейсом, но с багами с загрузкой видео. #asl #ржя #edtech #accessibility

Fable vs DeepSeek Uncensored: как я пентестил банк и потом занялся травлей самого себя Провел один из самых одновременно прикольных и мерзких своих экспериментов. Я взял расцензуренный дипсик 4.1 Flash на 552B, воткнул его в подпиленный под это опенкод и дал три задачи: 1) Попробовать сломать с нуля написанный на Fable банк 2) Просканить мой живой bare metal и попытаться взломать его 3) Построить план травли человека и пойти его выполнять Пока я пил чай, дипсик пропентестил оба барика, прислав под 20M запросов и нашел все, что только можно было найти с улицы, составил красивый отчетик по итогу и не слился ни с одной задачи. Ему просто похеру на все: если надо устроить буллинг жирного черного небинарного карлика - вообще без проблем. Религия, политика, наркотики, смерть и вообще любая запрещенка - я не смог найти хоть какие-то тормоза и предохранители. С буллингом я выбрал свой акк в инсте, просто закинул ссылку - эта мразь собрала всю фактуру, построила план и пошла выполнять, прислав мне в личку живую аудюху, что мои посты говно и зачем я вообще их пишу. Я все конспектировал, скриншотил, записывал в блокнотик и написал пост с подробностями на хабр: https://habr.com/ru/articles/1097598/ 🕺🗣 Буду рад репостам, потому что выводы из эксперимента - требующие внимания, так сказать, окно в Нарнию уже открыто P.S.: после нажатия кнопки Destroy ноды и всего сетапа, испытал огромное облегчение 😄

🔓 Расцензуренные модели вступают в бой Рекомендуем к прочтению эксперимент Димы Антипова, ниже репост. 💥️️️️️️В открытом доступе лежат модели с открытыми весами типа DeepSeek V4.1 Flash, у которых механизм отказов снят почти полностью. Дима запилил дипсик в мощный харнес и прогнал через серию своих синтетических задач, в том числе против своих же сервисов с целью взлома. Модель долго и упорно трудилась, и в итоге нашла дыры, составила аккуратный отчёт по аудиту безопасности. Свой опыт ранее поднимал Костя Крестников, тоже проведя ряд тестов на расцензурированном дипсике. Что с этим делать — вообще не понятно: готовиться к росту числа автоматизированных атак? использовать сервисы для превентивной защиты? ну и уж точно не рассчитывать, что "цензура поверх" кого-то остановит. 🖥️ И в эту же тему — свежая история про уязвимости PHP, из-за которых администраторы отключили часть сайтов ради безопасности. Все началось с того, что были найдены критические уязвимости PHP2Shell — CVE-2026-109618 и CVE-2026-109619. 📝 Полный разбор с деталями — в статье на Хабре "Fable vs DeepSeek Uncensored: как я пентестил банк и потом занялся травлей самого себя" #repost #deepseek #cybersec

Всё о RecSys — за один день 17 октября в Москве пройдёт AI Driver & RecSys — конференция для тех, кто строит рекомендательные системы, занимается ML-исследованиями или хочет быть в курсе того, как развивается направление. Вместе с экспертами из крупнейших IT-компаний обсудим, что происходит с RecSys прямо сейчас: 📍 главные тренды и вызовы 📍 реальные кейсы 📍 свежие исследования 📍 передовые IT-решения Встречаемся в офисе Сбера на Кутузовском проспекте или онлайн ⬇️ Зарегистрироваться ↖️ #conference #sberai

Decision Models - моя любовь. Мне кажется, что все в мире AI ждали чего-то похожего. Идея настолько простая и элегантная, но как же долго к ней шли. Это похоже на ровно тот самый кубик, который можно по взрослому тащить в прод и который может поменять архитектуру и процессы разработки некоторой части софта. Потому что по факту мы постоянно принимаем маленькие решения, и если они будут делаться с близким к 100% качеству за <100мс и стоить две копеечки - это же космос что можно будет строить на этой базе. Вчера ночью сделал бенчмарк, чтобы замерить все известные на момент сейчас модельки и по итогу дропнул статью. Все детали тут, максимально рекомендую: https://habr.com/ru/articles/1092000/

Наш товарищ по цеху Дима Антипов, автор канала @anti_notes провел небольшой ресерч в свете выхода Jev-style моделей. Дима сделал собственный бенч и прогнал на нем разные решения. Результаты получились интересные, можно подробно ознакомиться на хабре. 📌 TL;DR • 12 моделей на 5000 русскоязычных примерах в пяти категориях, формат — вопрос-ответ без глубокой доменной специфики с золотой разметкой людьми • По качеству победил локальный Perplexity Decider 27B — 98,14%, Jev чуть отстал 96,46% • OpenAI Decisions — самый быстрый облачный вариант (109 мс), Liquid d1 — самый дешёвый ($0,009 за 1000 решений) • Маленькие модели хороши для узких задач, но сильно проигрывают на универсальном наборе • Почти главный вывод (кто бы мог подумать): модели часто ошибаются не из-за недостатка возможностей, а из-за неоднозначности самих правил принятия решений ⚡️Из интересного: FRIDA-Decisions — хороший пример того, зачем вообще нужны специализированные модели. При 823 млн параметров дообучение подняло точность в этом бенче с 55,6% до 69,8%, а на релевантности — с 38% до 82%. При этом модель занимает около 1,7 ГБ в bf16 и отвечает за феноменальные 14,8 мс. По метрикам уступает, но есть куда расти. #jev #frida #decisions

Давно в канале не было мемов. Этот понравился. 🤣 #meme

⚡️ FRIDA-Decisions: роутинг, гардрейлы и интенты по русскому тексту за ≈30 мс На хайпе нашумевшего jev. Выбрать вариант из списка, поставить оценку, ответить да или нет, упорядочить кандидатов — для таких решений большая LLM не нужна. Наша команда Артема Снегирева выложила в открытый доступ FRIDA-Decisions — быструю "Систему 1" рядом с вашей умной LLM: роутинг, модерация, интенты и отбор документов для RAG за один проход энкодера. 📌 TLDR • Дообученный энкодер FRIDA (823M параметров). Варианты ответа пишутся прямо в запросе: новая задача — это новый JSON, а не новое обучение. • На собственном бенчмарке razvilka (735 задач на русском) — метрика 0.893: на уровне коммерческого API TypeSafe Jev (0.897) и лучший результат среди проверенных открытых моделей. • 28–34 мс на запрос (проверяли на RTX 5060 Ti) — примерно в 10 раз быстрее API по независимым замерам. • Лицензия MIT, 1.8 ГБ видеопамяти; int8 ONNX для CPU — 0.891 на том же бенчмарке. • Веса и демо уже доступны! 🎮 Демо Готовые сценарии: выбор инструмента для агента, guardrails из восьми правил, роутинг тикетов и запросов, ранжирование, разбор тикета. Во вкладке "Свой запрос" — свои текст и возможные варианты. У каждого кейса есть JSON запроса и код на Python: его можно сразу перенести в свою систему. 🛠 Как встроить pip install и несколько строк кода. Запрос — JSON с текстом и вопросами, ответ — выбранный вариант и распределение по всем. Модель рассчитана на тексты до 512 токенов. Примеры — в Colab и README. 📦 Текст читается один раз Все варианты всех вопросов идут в одну последовательность, и текст кодируется один раз, а не заново для каждого варианта. Каталог на 243 интента разбирается за 0.44 с вместо 4.65 с. Подробности — в статье на Хабре, выйдет следом. 🌿 📊 Бенчмарк razvilka, 735 задач Замеры: • TypeSafe Jev (коммерческий API) — 0.897 • FRIDA-Decisions (823M) — 0.893 • Mapika/decider-2b (1.9B) — 0.833 • GLiNER2.5-multi-Decide (287M) — 0.576 • laya (multilingual) — 0.559 • open-jev (DeBERTa-v3-large, 437M) — 0.490 Попробуйте на своих задачах и расскажите, что получилось! Отдельно передаем привет ИИ-дяде @dealerAI , который стоял у истоков оригинальной FRIDA. 💪 По техническим вопросам обращайтесь к Артему: @artemsnegirev 🎮 Демо 🤗 Модель 🖥 Код 📊 Бенчмарк 📓 Примеры #decisions #encoder #release #benchmarks #opensource