Views growthHide views growth
Views growth
Hours after publication
Show as table
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 1 h | 688 |
| 13 h | 1,175 |
| 25 h | 1,240 |
| 76 h | 1,459 |
- After 1 hour688
- After 24 hours1,240
- Total to date1,459
Hours after publication
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 1 h | 688 |
| 13 h | 1,175 |
| 25 h | 1,240 |
| 76 h | 1,459 |
Однажды Эрнест Хемингуэй поспорил, что сможет написать самый короткий рассказ, способный растрогать любую неолабу. Он выиграл спор: "For rent: B300s cluster, never trained."
Open in TelegramНа фоне затухающего хайпа с мухой, хочу рассказать одну историю Когда строится распределенная система, база данных, краулер или любое другое ПО для работы с большими объемами информации, появляется необходимость быстро ответить на вопрос “есть ли этот элемент в большом множестве”. Часто для таких сценариев используется фильтр Блума - он довольно эффективен по скорости/памяти, и с его помощью можно ответить на этот вопрос либо “точно нет”, либо “возможно да”. Но для некоторых задач такой ответ слишком груб. Например, рекомендательной системе новостей важно, насколько статья похожа на то, что человек недавно прочитал. Учитывать похожесть и забывать старое фильтры Блума по отдельности уже умели. В Гарварде в 2006 году обычные хеш-функции заменили на такие, у которых похожие элементы чаще попадают в одни и те же биты, и фильтр научился отвечать, есть ли во множестве что-то близкое к запросу. В Университете Альберты в том же году фильтр для краулера научили на каждом шаге уменьшать значения в нескольких случайных ячейках, чтобы давно не встречавшиеся адреса из него выпадали. Однако фильтра, который умел бы и то и другое, исследователи из Сан-Диего в 2018 году не знали и нашли такой у плодовой мушки [тык]. К тому времени нейробиологи обнаружили у мухи нейроны новизны. Они сильно отвечают на новый запах, заметно слабее на повторный, а примерно через час ответ снова становится сильным. Каждый запах муха кодирует меткой из небольшого набора активных клеток, и у похожих запахов метки во многом совпадают. Встреченный запах ослабляет связи от клеток своей метки к нейронам новизны, поэтому повтор вызывает слабый ответ, а со временем связи восстанавливаются. Авторы статьи увидели в этих связях биты фильтра Блума, а в метке его хеш. Позже эти алгоритмы попытались перенести на реальные задачи с переменным успехом. Институт Солка, где работали двое из авторов, подал патентную заявку на хеш мухи для поиска похожих картинок и документов. В IBM Research из фильтра сделали классификатор, который по точности вышел на уровень метода ближайших соседей, а Intel получила патент на поиск похожих векторов, где описан близкий алгоритм хеширования со ссылкой на обонятельную систему дрозофилы [тык]
Open in TelegramHoney wake up, it’s time to burn your weekly quota on kernel optimizations https://openkernelchallenge.dev/
Open in Telegramhttps://emudhra.we-have-a-problem.com/ Люди начинают подозревать, что Паджиты интерпретируют фразу "384-bit key", как "число от 1 до 384"
Open in TelegramDaily reminder: обратная совместимость - твоя головная боль ровно до определённого количества пользователей https://github.com/apple-oss-distributions/libmalloc/blob/libmalloc-812.100.31/src/malloc.c#L4066
Open in TelegramForwarded from контекст rot
> be корпорации > заменяем людей на эйай агентов > косты -50%, акционеры кайфуют 📈 > уволенные идут на завод и в доставку > зарплаты там падают > никто не покупает наши услуги т.к денег нет у людей > выручка падает > увольняем ещё!! > покупают ещё меньше > агенты пашут 24/7 и жрут бабос > бабос уходит трём челам с дата-центрами > эти челы не купят 10 млн наших сикс севен сервис подписок > каждый из нас действовал рационально > но оказалось что есть НЮАНС
Open in TelegramУ меня есть гипотеза, что можно использовать Цукерберга как анти-Крамера в рамках рынка технологий Весной 21-го начинает делать свой Clubhouse - социальное аудио вскоре умирает как явление В октябре 21-го делает ставку на метавселенные - к лету 22-го рынок виртуальной земли падает на 97% В марте 22-го обещает nft в инстаграме - к осени объём торгов nft падает на 97% с начала года В августе 22-го выкладывает vr селфи - в том же году продажи vr-шлемов падают на 21% ----МЫ ЗДЕСЬ---- Осенью 26-го выкатывает Muse - Character.AI подаёт на банкротство
Open in TelegramНедавно для себя открыл, что приём из CUDA C Best Practices работает и на чипах Apple Ядро GPU держит сразу несколько SIMD-групп, и когда одна группа ждёт данные из памяти, ядро выполняет инструкции другой. Можно подумать, что чем больше групп на ядре, тем лучше, однако все группы делят между собой регистры и shared memory ядра, поэтому если групп становится слишком много, регистры перестают помещаться на ядре, и данные уходят в кэш. Этот трафик мешает кернелу загружать собственные данные, из-за чего ядро замедляется. Собственно, [приём] для CUDA заключается в том, что можно выделить кернелу shared memory больше, чем ему нужно - это приведет к уменьшению числа групп, и, как следствие, данные перестанут вытесняться. До M3 на чипах Apple число групп ограничивали регистры, каждая группа сразу получала их под самый тяжёлый участок кернела. С M3 регистры выделяются по ходу работы, групп на ядро влезает больше, и чтобы их данные не вытесняли друг друга из кэша, Apple добавила блок, который называет occupancy manager (далее планировщик). На M3 и M4 он снижает число групп, когда из L1, общего для регистров, shared memory и кэша буферов, начинают вытесняться данные. Но этот планировщик работает криво, потому что не снижает число групп, когда через L1 идут данные регистров. На умножении матрицы сразу на несколько токенов он держит 26-27 SIMD-групп на ядро, хотя быстрее всего кернел работает при 8-14. Такое умножение нужно для MTP, где модель набрасывает несколько следующих токенов и проверяет их за один проход. Metal не даёт задать число групп вручную, но приём для CUDA можно заставить работать и здесь. Shared memory в Metal (threadgroup memory) выделяется сразу на одну или несколько SIMD-групп, и новые группы ядро не запускает, пока для их памяти нет места, поэтому лишняя память уменьшает число групп. Чтобы компилятор её не выкинул, в кернел добавляется запись в эту память, которая никогда не выполняется. Лучшее число групп у разных матриц разное, в той же Qwen3.8 на 4 токенах умножение 5120×17408 быстрее всего при 10 группах, 17408×5120 при 24, а от типа квантования лучшее число меняется от 6 до 24. Я пытался вывести формулу по числу регистров, байтам на вес, объёму вычислений на байт и прочим переменным, но не вышло. По лучшей составной формуле кернел в среднем на 5-7% медленнее, чем с оптимумом, найденным перебором. К тому же на той же матрице при 16 группах трафика регистров уже нет, а умножение всё равно по скорости такое же, как и без ограничения (413 мкс против 418), и лучшее время в 349 мкс получается только при 10 группах. Что тормозит кернел между 16 и 10 группами, я так и не понял. Возможно, размер регистрового файла и другие константы чипа помогли бы разобраться, но Apple их не публикует. Поэтому для тестов в llama.cpp число групп подбирает тюнер, который в первые проходы генерации пробует для каждой матрицы вариант без лишней shared memory и несколько её объёмов от 2 до 32 КБ и оставляет самый быстрый, на это уходит около 2 секунд работы GPU. На первой картинке время прохода четырёх моделей в llama.cpp без тюнера и с ним. У Qwen3.8-27B в Q4_K_M проход на 4 токена сокращается со 133 до 113 мс, на 5 со 177 до 127 мс, а у той же модели в Q6_K выигрыш доходит до 38% (на 1-3 токенах llama.cpp работает другим кернелом, которому ограничение не помогает, а на 6 выигрыш почти пропадает, там кернел считает токены двумя частями по 3). На второй картинке то же умножение матрицы 5120×17408 в MLX. В f32 ограничение числа групп ускоряет его на 4 токенах с 374 до 288 мкс, правда в bf16, в котором MLX считает модели, выигрыш сильно меньше. Видимо, в bf16 кернелу нужно меньше регистров
Open in Telegram