Пока 5090 и похоже 5080 исчезают с полок навсегда, а 60-серия даже не маячит слухами на горизонте, сообщество не спит и заставило Qwen запуститься... внутри весов Qwen.
qwenGPU: умельцы встроили полноценную SIMT видеокарту прямо в веса языковой модели Qwen3.5-2B.
Это не плагин, не сторонний инструмент и не эмулятор. Архитектура GPU скомпилирована в виде 45 дополнительных трансформерных слоев, которые развернуты перед родными 24 слоями Qwen. Нейронка выполняет реальный CUDA-код, скомпилированный в NVIDIA PTX, и сама пошагово генерирует каждый этап вычислений через токены.
В отличие от своего предшественника Qwenputer (который компилировал в веса процессор RISC-V), этот проект эмулирует параллельную архитектуру полноценного GPU. Роль регистров и глобальной памяти здесь выполняют состояния слоев линейного внимания (Gated DeltaNet) самой Qwen. При этом текстовые возможности модели никак не пострадали: распределение токенов изменилось минимально, так как слои «видеокарты» глушатся, когда генерируется обычный текст.
Фичи:
* Виртуальный GPU имеет 4 ядра (SIMT-лейна), 15 регистров на ядро, 4-стадийный конвейер и 126 ячеек глобальной памяти.
* Поддерживаются базовые математические операции, циклы, ветвления, атомарное сложение atomicAdd, барьерная синхронизация __syncthreads() и варп-шатлы.
* Доступно два режима работы: normal (Qwen просто пишет выражение, а хост запускает готовые CUDA-ядра) и advanced (Qwen сама пишет CUDA-код «на лету» по шпаргалке из системного промта).
* Визуальный интерактивный TUI-монитор прямо в терминале, где в реальном времени подсвечивается работа планировщика, конвейера, регистров и памяти при генерации токенов.
* Стопроцентная точность вычислений в bf16 на тестовых бенчмарках.
Запуск ядра занимает от десятков до нескольких сотен токенов вывода. На чипах Apple Silicon (через MPS в bf16) скорость эмуляции составляет около 10–15 токенов в секунду. Advanced-режим для 2B-модели пока выдает ошибки в сложных матричных задачах, поэтому для гарантированного результата разработчики рекомендуют использовать normal-режим.
Выжимка от Gemini
Пока что это калькулятор, который потребляет немало VRAM, но посмотрим куда это выльется.
Твит
Гитхаб
