Выступил на GPU MODE с докладом про Disaggregated Quantization. Рассказал про разные боттлнеки в LLM инференсе, как их обходить комбинируя разные форматы, и при чем тут оффлоадинг. Запись на YouTube
Open in TelegramViews growthHide views growth
Views growth
Hours after publication
Show as table
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 1 h | 3,948 |
| 14 h | 7,095 |
| 26 h | 7,399 |
| 67 h | 8,565 |
- After 1 hour3,948
- After 24 hours7,399
- Total to date8,565