Account

Posts of Big Ledovsky | AI изнутри

newest first

#542Photoalbum
Views487−43%vs avg
Forwards20
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h271
13 h408
25 h426
74 h487
  1. After 1 hour271
  2. After 24 hours426
  3. Total to date487
#541Photoalbum
Views486−43%vs avg
Forwards20
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h270
13 h408
25 h425
74 h486
  1. After 1 hour270
  2. After 24 hours425
  3. Total to date486
#540Photoalbum
Views486−43%vs avg
Forwards20
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h270
13 h408
25 h425
74 h486
  1. After 1 hour270
  2. After 24 hours425
  3. Total to date486
#539Photoalbumedited

GrokBot очень хорош Какое-то время работаю на нем. И удивляюсь насколько это удачный продукт. Это как OpenClaw, только гораздо удобнее. Все работает из коробки. 💔 Чем меня GrokBot меня еще очаровал - Постоянно работает на сервере, при этом бесшовно выполняет команды на ноутбуке, когда он открыт - Легкость создания новых агентов - Проактивная работа. В GrokBot встроена рутина проактивной работы. Это очень приятно. Например, когда он смотрит твои встречи на день и готовит тебе бриф с актуальной инфой, какую может вытащить 💎 Еще лайфхак. Если хотите сделать читалку X, то грокбот - лучший вариант. X можно читать только через API или через скрапперы. Через API цена - 5 долларов за 1000 постов. Это грабительство просто! У грокбота включенный лимит на 1000 запросов в день, каждый до 25 айтемов, т.е. до 25 тысяч постов в день Есть люди, которые говорят - в чем прикол опенкло или грокбота? 😐 Можно все то же самое делать клод кодом. Расскажу в будущих постах. Always-on агенты - это совсем иной класс инструментов.

Open in Telegram
Views492−42%vs avg
Forwards20
Reactions19
Comments10
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h273
13 h413
25 h430
74 h492
  1. After 1 hour273
  2. After 24 hours430
  3. Total to date492
#538Textedited

Что все-таки произошло с акциями Alphabet/Google в Q3 Прочитал новость в нескольких каналах, ничего не понял. Решил разобраться сам 🤓 Что случилось: после отчета alphabet за Q3 акции упали на 10% 💸 Что видно в отчете • Google показал выручку ниже ожидаемой. Но на самом деле там значение 127.6b vs 128.2b и честно говоря в абсолюте - копейки • В текущем периоде денежный поток (free cash flow) составил -9.1b, хотя ожидали, что будет 0. Это значит, что потратили больше чем получили • Выручка от поиска выросла на 12% год к году, что было ниже ожиданий в 15% • На капитальные затраты (датацентры) потратили 51.4b, т.е. 40% от выручки. Для сравнения, в 2023 году доля капитальных затрат была около 10% 🧐 Поводов для беспокойства достаточно. Но на самом деле основные причины падения не в результатах q3. Не в затратах на датацентры и во многом не в отрицательном cash flow. • Основная причина падения - это неопределенность, связанная с "AI mode", т.е. нейропоиском. На встрече с инвесторами заявили, что AI mode хуже монетизируется, и что он повлиял на выручку поиска. Конкретных цифр не дали. Да это и бессмысленно, т.к. понятно, что его монетизацию еще предстоит качать • Также, Google сказал, что собирается увеличить капитальные затраты в 2027 году. В 2026 они уже 200b. Сколько теперь будет? 300? 👉 Т.е. падение связано не с q3, а с ожиданиями в будущем. Что с приходом AI-поиска рекламная выручка будет снижаться, а затраты на датацентры растут. В отчете есть и положительная новость: доходы от Google Cloud выросли на 103%. Выше ожиданий в 92%. Сейчас Cloud приносит уже 24% от общей выручки. Подводя итог Структура выручки и финансовая модель компании и рынка вообще меняется. Что будет дальше - сложно сказать. Рынок переживает. Если рекламная выручка продолжит расти ниже ожиданий, акции будут падать дальше. С другой стороны выручка легко может сместиться в сторону клауда, и поиск перестанет быть основным источником денег. 🧐 P.S. А Google Cloud на самом деле хорош. Несмотря на его ужасную консоль. Но по крайней мере они с порога дают хорошие тиры на Gemini в AI Studio. Я посмотрел уже какое-то количество неоклаудов. И они предлагают open weighted модели с лучшим тиром (tier - уровень аккаунта), условно 500к TPM и 120 RPM. Хочешь больше - иди договаривайся. Это для кого вообще?? Гугл же спокойно дает 30kk TPM на третьем тире. Если договариваться, я думаю они сколько угодно могут предоставить. https://www.reuters.com/business/alphabets-google-cloud-unit-beats-quarterly-revenue-estimates-steady-ai-demand-2026-10-28

Open in Telegram
Views768−10%vs avg
Forwards2
Reactions11
Comments10
#536Link previewedited

Справился с написанием Flash Attention Месяцы идут, а я все еще прохожу курс CS336 Language Modelling from Scratch (предыдущая серия, страница курса). Но я считаю - главное прогресс 😎 Вторая домашка курса посвящена эффективности. Сперва нужно было профилировать LLM в разных плоскостях. Затем написать flash attention своими руками на triton. Flash attention - это алгоритм эффективного вычисления атеншена на видеокарте. Типа как есть преобразование фурье, а есть FFT. К счастью, к этому моменту я уже понимал, что инструментов под названием triton в мире ML два, и они абсолютно не связаны между собой 😏 Во-первых, это OpenAI Triton - just in time компилятор, который питон на лету преобразует в CUDA kernels (т.е. нативные функции). Как раз на нем нужно было писать. А во-вторых, это NVIDIA Triton Inference Server - движок для инференса моделей. Не путайте =) Писать Flash Attention было круто. Я получил огромное удовольствие 🫠 Писал за 4 сессии. Сперва я читал статью и вкуривал идею. На второй сессии попросил Claude написать мне свой tutorial по triton, где я выучил фреймворк (что было не сложно после курса по CUDA). На третей сессии долго перемножал матрицы на листочке, чтобы осознать алгоритм. А на четвертой на удивление довольно быстро закодил. Надеюсь я вас вдохновил. Хочу еще потратить время на алгоритмы распределенного обучения и посмотрю что там дальше. Курс как будто неровный. Надеюсь до post-traning'а доберусь! 💪

Open in Telegram
Views1,418+66%vs avg
Forwards32
Reactions45
Comments13
#535Link preview
Views1,244+46%vs avg
Forwards13
Reactions12
Comments3
#530Text

Как Openclaw через API опять списал мне много денег 💸 Никогда такого не было и вот опять. После блокировки Codex подписки я решил поработать на опенроутере. Выбрал Qwen - чтобы что-то недорогое. Поставил лимит в 50 долларов на месяц, с запасом. В итоге все ушло за 3 дня 🙂 Причина - в дефолтной конфигурации Openclaw и Hermes неадекватные. Что происходило - Стартовый контекст у меня был сразу 35к токенов. Из них почти все - это MCP - За пару дней работы в одной сессии в телеграм чатике контекст рос рос и дорос до 200к - Раз в полчаса у Openclaw работает Heartbeat, который не делает ничего полезного, не кешируется и списывает по 50 центов за запрос Еще, начав разбираться, я выяснил, что tool search является экспериментальной фичей в Openclaw и по умолчанию выключен. Поэтому MCP занимают столько контекста Короче сейчас я в процессе пересбора конфигурации. Удивительно, что спустя 9 месяцев Openclaw еще настолько сырой 🍞

Open in Telegram
Views1,576+85%vs avg
Forwards6
Reactions11
Comments18
#529Photo

Разбирался в текущих железках NVIDIA Моя текущая роль предполагает отвечать на вопросы в духе "а какое железо и в каком количестве нам реально нужно" 🧐 На выходных я решил почитать сайт NVIDIA и получше разобраться в каком виде продаются карты. И обнаружил, что их сайт откровенно вводит людей в заблуждение. Абсолютно все у них называется платформой (неважно что это на самом деле 😐), а некоторые продукты (например DGX B300 NVL8, или все H200) скрыты из основных каталогов. Потребовалось посидеть с клодом несколько часов, чтобы понять что к чему 💎 Не вдаваясь глубоко в детали • Есть отдельные серверные карты RTX 6000 PRO и 4500 PRO. У них много памяти, но они не поддерживают NVLink и поставляются только PCIe. Подходят для инференса • Карты поколения Blackwell B200/300 идут в серверах по 8 карт или в стойках по 72. У них нет PCIe версий, а есть только т.н. SXM версия на специальной плате со встроенными NVLink. В таких серверах могут быть процы от NVIDIA (Grace CPU, например в DGX GB300 NVL8), они ускоряют обмен RAM <-> память GPU • H100/200, карты прошлого поколения Hopper, можно купить в версиях с PCIe. Поэтому бывают сервера, например, на 4 карты. NVLink подключается отдельно и соединяет карты напрямую друг с другом (не через плату как в SXM) • NVIDIA делает железо в двух версиях. Первая - это полностью готовые сервера, которые идут под брендом DGX. Вторая - условно запчасти в виде карт и плат, обвязку для которых делают так называемые OEM производители, вроде Gigabyte. Например: питание, охлаждение и другое. OEM версия серверов на 8 карт продается под брендом HGX • Карты нового поколения Rubin с точки зрения продуктов повторяют Blackwell, но пока не дошли до свободной продажи 💸 Про сравнение карт У RTX 6000 PRO сильно дешевле память и низкая цена за одну карту, что делает ее привлекательной для инференса небольших и средних моделей. А вот разница, например, B200 и H200 не такая очевидная. Если не учишь свои LLM. Да, в B200 несколько выгоднее компьют, но при этом нужно сразу выложить цену за 8 карт. А H200 можно купить в сервере на 4 карты. Мы сами сейчас учим модели на H200, а инферим на RTX 6000 PRO. H200 в целом хорошие, но с другой стороны довольно старые карты. И вопрос, если расширяться, то чем?

Open in Telegram
Views1,692+98%vs avg
Forwards11
Reactions24
Comments18
#528Photo
Views1,831+114%vs avg
Forwards21
Reactions26
Comments21
#527Link preview

Про openspec Решил попробовать openspec для adhoc задач, фреймворк для spec driven development. У меня был репозиторий с конфигом клода, через который я делал небольшие задачи. Например дорабатывал и деплоил label studio для сбора разметки, делал аналитику, писал ботов итд 🚲 Для таких задач у меня была своя система ведения спек в md клодом, без привязки к джире. В целом работало, но спеки содержали довольно много лишней инфы, замусоривались, а еще часть тасок висели недоделанными. 😌 Openspec - это фреймворк ведения спек и пока мне он нравится. Я до этого пробовал getting shit done и superpowers - от них осталось ощущение велосипедов и непрактичности за пределами прототипов. И неадекватного хайпа, конечно. 📚 Openspec оставляет иное впечатление. Во-первых, его гранулярность - это задача, а не проект целиком. Во-вторых, мне понравилась его система документов. Достаточно понятная и строгая по содержанию • Proposal - требования к задаче • Architecture - техническое решение как делать • Tasks - план разбитый на подзадачи • Spec - технический документ со стейтом системы в виде требований 🤔 Эти документы нормально смотреть глазами. Ощущения нейрослопа у меня не возникло Посмотрим как пойдет. Я вдохновился после этого подкаста. Какое-то время назад мне казалось что каждый сам должен сделать свою систему, но сейчас кажется, что хороший фреймворк правда сильно помогает. Просто этот фреймворк - не superpowers 🫠 На рабочие проекты я пока не планирую внедрять. У нас сейчас каждый работает как хочет. В data science своя специфика. Задачи более творческие, с неопределенным планом действий 🤷‍♂️

Open in Telegram
Views1,566+83%vs avg
Forwards23
Reactions6
Comments0
#526Textedited
Views1,702+99%vs avg
Forwards23
Reactions12
Comments4
#525Textedited
Views1,673+96%vs avg
Forwards6
Reactions24
Comments6
#524Textedited

Что станет с поиском и рекомендациями в эпоху LLM 🦜 По следам дискуссии на Practical ML Раньше было два способа как пользователь находит айтем: это поиск и рекомендации. Теперь к ним добавился ассистент. Что же будет дальше? 1. Веб поиск На первый взгляд кажется, что веб-поиск скоро полностью вытеснится агентами. По факту, у обычного поиска остаются навигационные запросы, короткие частотные запросы, которые не исчезнут. 💎 Очень своевременный мув был сделан Гуглом, а затем Яндексом и другими классическими поисками с добавлением нейропоиска в UI веб поиска с невероятно быстрой скоростью ответа. Я думаю, что все несложные запросы они таким образом отбили. На внешних агентов останется только маленький хвост рисерчей, которые в любом случае долгие. 2. Поиск и рекомендации в маркетплейсах Ни для кого ни секрет, что ассистенты пока ни у кого не взлетели. Там много проблем 🤯 Не получается найти хороший сценарий. «Подбери мне Х» оказался не очень удобным по сравнению с поисковым запросом. В добавок, в UI агента неудобно смотреть айтемы. Я видел вариант где агент кидает по три айтема, чего мало. Либо виджет горизонтального скролла, который конечно плохо просматривается, но хоть что-то. 🔮 Мой прогноз. Традиционный поиск и рекомендации никуда не уйдут. В агента уйдет сценарий рисерчей. - В этом кейсе агент принимает подробное задание от пользователя - Его результат - это ссылки на поиски, может быть в виде виджетов 🏄‍♂ Например «Под твои требования можно посмотреть недорогие новые Самсунги если хочешь android (ссылка) или БУ iphone (ссылка). Можем рассмотреть детально плюсы-минусы моделей» Что думаете? 🐳 - агенты рано или поздно все заменят 🗿 - традиционный поиск и реки никуда не уйдут

Open in Telegram
Views1,826+114%vs avg
Forwards4
Reactions67
Comments7
#523Link previewedited
Views1,635+92%vs avg
Forwards5
Reactions16
Comments4