Кабинет

Посты канала Big Ledovsky | AI изнутри

сначала новые

#543Видео
Просмотры555−35%к среднему
Пересылки12
Реакции23
Комментарии9
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
8 ч436
32 ч528
71 ч555
  1. Через 6 часов436
  2. Через 24 часа528
  3. Всего сейчас555
#542Фотоальбом
Просмотры487−43%к среднему
Пересылки20
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
1 ч271
13 ч408
25 ч426
74 ч487
  1. Через 1 час271
  2. Через 24 часа426
  3. Всего сейчас487
#541Фотоальбом
Просмотры486−43%к среднему
Пересылки20
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
1 ч270
13 ч408
25 ч425
74 ч486
  1. Через 1 час270
  2. Через 24 часа425
  3. Всего сейчас486
#540Фотоальбом
Просмотры486−43%к среднему
Пересылки20
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
1 ч270
13 ч408
25 ч425
74 ч486
  1. Через 1 час270
  2. Через 24 часа425
  3. Всего сейчас486
#539Фотоальбомизменён

GrokBot очень хорош Какое-то время работаю на нем. И удивляюсь насколько это удачный продукт. Это как OpenClaw, только гораздо удобнее. Все работает из коробки. 💔 Чем меня GrokBot меня еще очаровал - Постоянно работает на сервере, при этом бесшовно выполняет команды на ноутбуке, когда он открыт - Легкость создания новых агентов - Проактивная работа. В GrokBot встроена рутина проактивной работы. Это очень приятно. Например, когда он смотрит твои встречи на день и готовит тебе бриф с актуальной инфой, какую может вытащить 💎 Еще лайфхак. Если хотите сделать читалку X, то грокбот - лучший вариант. X можно читать только через API или через скрапперы. Через API цена - 5 долларов за 1000 постов. Это грабительство просто! У грокбота включенный лимит на 1000 запросов в день, каждый до 25 айтемов, т.е. до 25 тысяч постов в день Есть люди, которые говорят - в чем прикол опенкло или грокбота? 😐 Можно все то же самое делать клод кодом. Расскажу в будущих постах. Always-on агенты - это совсем иной класс инструментов.

Открыть в Telegram
Просмотры492−42%к среднему
Пересылки20
Реакции19
Комментарии10
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
1 ч273
13 ч413
25 ч430
74 ч492
  1. Через 1 час273
  2. Через 24 часа430
  3. Всего сейчас492
#538Текстизменён

Что все-таки произошло с акциями Alphabet/Google в Q3 Прочитал новость в нескольких каналах, ничего не понял. Решил разобраться сам 🤓 Что случилось: после отчета alphabet за Q3 акции упали на 10% 💸 Что видно в отчете • Google показал выручку ниже ожидаемой. Но на самом деле там значение 127.6b vs 128.2b и честно говоря в абсолюте - копейки • В текущем периоде денежный поток (free cash flow) составил -9.1b, хотя ожидали, что будет 0. Это значит, что потратили больше чем получили • Выручка от поиска выросла на 12% год к году, что было ниже ожиданий в 15% • На капитальные затраты (датацентры) потратили 51.4b, т.е. 40% от выручки. Для сравнения, в 2023 году доля капитальных затрат была около 10% 🧐 Поводов для беспокойства достаточно. Но на самом деле основные причины падения не в результатах q3. Не в затратах на датацентры и во многом не в отрицательном cash flow. • Основная причина падения - это неопределенность, связанная с "AI mode", т.е. нейропоиском. На встрече с инвесторами заявили, что AI mode хуже монетизируется, и что он повлиял на выручку поиска. Конкретных цифр не дали. Да это и бессмысленно, т.к. понятно, что его монетизацию еще предстоит качать • Также, Google сказал, что собирается увеличить капитальные затраты в 2027 году. В 2026 они уже 200b. Сколько теперь будет? 300? 👉 Т.е. падение связано не с q3, а с ожиданиями в будущем. Что с приходом AI-поиска рекламная выручка будет снижаться, а затраты на датацентры растут. В отчете есть и положительная новость: доходы от Google Cloud выросли на 103%. Выше ожиданий в 92%. Сейчас Cloud приносит уже 24% от общей выручки. Подводя итог Структура выручки и финансовая модель компании и рынка вообще меняется. Что будет дальше - сложно сказать. Рынок переживает. Если рекламная выручка продолжит расти ниже ожиданий, акции будут падать дальше. С другой стороны выручка легко может сместиться в сторону клауда, и поиск перестанет быть основным источником денег. 🧐 P.S. А Google Cloud на самом деле хорош. Несмотря на его ужасную консоль. Но по крайней мере они с порога дают хорошие тиры на Gemini в AI Studio. Я посмотрел уже какое-то количество неоклаудов. И они предлагают open weighted модели с лучшим тиром (tier - уровень аккаунта), условно 500к TPM и 120 RPM. Хочешь больше - иди договаривайся. Это для кого вообще?? Гугл же спокойно дает 30kk TPM на третьем тире. Если договариваться, я думаю они сколько угодно могут предоставить. https://www.reuters.com/business/alphabets-google-cloud-unit-beats-quarterly-revenue-estimates-steady-ai-demand-2026-10-28

Открыть в Telegram
Просмотры768−10%к среднему
Пересылки2
Реакции11
Комментарии10
#536Превью ссылкиизменён

Справился с написанием Flash Attention Месяцы идут, а я все еще прохожу курс CS336 Language Modelling from Scratch (предыдущая серия, страница курса). Но я считаю - главное прогресс 😎 Вторая домашка курса посвящена эффективности. Сперва нужно было профилировать LLM в разных плоскостях. Затем написать flash attention своими руками на triton. Flash attention - это алгоритм эффективного вычисления атеншена на видеокарте. Типа как есть преобразование фурье, а есть FFT. К счастью, к этому моменту я уже понимал, что инструментов под названием triton в мире ML два, и они абсолютно не связаны между собой 😏 Во-первых, это OpenAI Triton - just in time компилятор, который питон на лету преобразует в CUDA kernels (т.е. нативные функции). Как раз на нем нужно было писать. А во-вторых, это NVIDIA Triton Inference Server - движок для инференса моделей. Не путайте =) Писать Flash Attention было круто. Я получил огромное удовольствие 🫠 Писал за 4 сессии. Сперва я читал статью и вкуривал идею. На второй сессии попросил Claude написать мне свой tutorial по triton, где я выучил фреймворк (что было не сложно после курса по CUDA). На третей сессии долго перемножал матрицы на листочке, чтобы осознать алгоритм. А на четвертой на удивление довольно быстро закодил. Надеюсь я вас вдохновил. Хочу еще потратить время на алгоритмы распределенного обучения и посмотрю что там дальше. Курс как будто неровный. Надеюсь до post-traning'а доберусь! 💪

Открыть в Telegram
Просмотры1 418+66%к среднему
Пересылки32
Реакции45
Комментарии13
#535Превью ссылки
Просмотры1 244+46%к среднему
Пересылки13
Реакции12
Комментарии3
#530Текст

Как Openclaw через API опять списал мне много денег 💸 Никогда такого не было и вот опять. После блокировки Codex подписки я решил поработать на опенроутере. Выбрал Qwen - чтобы что-то недорогое. Поставил лимит в 50 долларов на месяц, с запасом. В итоге все ушло за 3 дня 🙂 Причина - в дефолтной конфигурации Openclaw и Hermes неадекватные. Что происходило - Стартовый контекст у меня был сразу 35к токенов. Из них почти все - это MCP - За пару дней работы в одной сессии в телеграм чатике контекст рос рос и дорос до 200к - Раз в полчаса у Openclaw работает Heartbeat, который не делает ничего полезного, не кешируется и списывает по 50 центов за запрос Еще, начав разбираться, я выяснил, что tool search является экспериментальной фичей в Openclaw и по умолчанию выключен. Поэтому MCP занимают столько контекста Короче сейчас я в процессе пересбора конфигурации. Удивительно, что спустя 9 месяцев Openclaw еще настолько сырой 🍞

Открыть в Telegram
Просмотры1 576+85%к среднему
Пересылки6
Реакции11
Комментарии18
#529Фото

Разбирался в текущих железках NVIDIA Моя текущая роль предполагает отвечать на вопросы в духе "а какое железо и в каком количестве нам реально нужно" 🧐 На выходных я решил почитать сайт NVIDIA и получше разобраться в каком виде продаются карты. И обнаружил, что их сайт откровенно вводит людей в заблуждение. Абсолютно все у них называется платформой (неважно что это на самом деле 😐), а некоторые продукты (например DGX B300 NVL8, или все H200) скрыты из основных каталогов. Потребовалось посидеть с клодом несколько часов, чтобы понять что к чему 💎 Не вдаваясь глубоко в детали • Есть отдельные серверные карты RTX 6000 PRO и 4500 PRO. У них много памяти, но они не поддерживают NVLink и поставляются только PCIe. Подходят для инференса • Карты поколения Blackwell B200/300 идут в серверах по 8 карт или в стойках по 72. У них нет PCIe версий, а есть только т.н. SXM версия на специальной плате со встроенными NVLink. В таких серверах могут быть процы от NVIDIA (Grace CPU, например в DGX GB300 NVL8), они ускоряют обмен RAM <-> память GPU • H100/200, карты прошлого поколения Hopper, можно купить в версиях с PCIe. Поэтому бывают сервера, например, на 4 карты. NVLink подключается отдельно и соединяет карты напрямую друг с другом (не через плату как в SXM) • NVIDIA делает железо в двух версиях. Первая - это полностью готовые сервера, которые идут под брендом DGX. Вторая - условно запчасти в виде карт и плат, обвязку для которых делают так называемые OEM производители, вроде Gigabyte. Например: питание, охлаждение и другое. OEM версия серверов на 8 карт продается под брендом HGX • Карты нового поколения Rubin с точки зрения продуктов повторяют Blackwell, но пока не дошли до свободной продажи 💸 Про сравнение карт У RTX 6000 PRO сильно дешевле память и низкая цена за одну карту, что делает ее привлекательной для инференса небольших и средних моделей. А вот разница, например, B200 и H200 не такая очевидная. Если не учишь свои LLM. Да, в B200 несколько выгоднее компьют, но при этом нужно сразу выложить цену за 8 карт. А H200 можно купить в сервере на 4 карты. Мы сами сейчас учим модели на H200, а инферим на RTX 6000 PRO. H200 в целом хорошие, но с другой стороны довольно старые карты. И вопрос, если расширяться, то чем?

Открыть в Telegram
Просмотры1 692+98%к среднему
Пересылки11
Реакции24
Комментарии18
#528Фото
Просмотры1 831+114%к среднему
Пересылки21
Реакции26
Комментарии21
#527Превью ссылки

Про openspec Решил попробовать openspec для adhoc задач, фреймворк для spec driven development. У меня был репозиторий с конфигом клода, через который я делал небольшие задачи. Например дорабатывал и деплоил label studio для сбора разметки, делал аналитику, писал ботов итд 🚲 Для таких задач у меня была своя система ведения спек в md клодом, без привязки к джире. В целом работало, но спеки содержали довольно много лишней инфы, замусоривались, а еще часть тасок висели недоделанными. 😌 Openspec - это фреймворк ведения спек и пока мне он нравится. Я до этого пробовал getting shit done и superpowers - от них осталось ощущение велосипедов и непрактичности за пределами прототипов. И неадекватного хайпа, конечно. 📚 Openspec оставляет иное впечатление. Во-первых, его гранулярность - это задача, а не проект целиком. Во-вторых, мне понравилась его система документов. Достаточно понятная и строгая по содержанию • Proposal - требования к задаче • Architecture - техническое решение как делать • Tasks - план разбитый на подзадачи • Spec - технический документ со стейтом системы в виде требований 🤔 Эти документы нормально смотреть глазами. Ощущения нейрослопа у меня не возникло Посмотрим как пойдет. Я вдохновился после этого подкаста. Какое-то время назад мне казалось что каждый сам должен сделать свою систему, но сейчас кажется, что хороший фреймворк правда сильно помогает. Просто этот фреймворк - не superpowers 🫠 На рабочие проекты я пока не планирую внедрять. У нас сейчас каждый работает как хочет. В data science своя специфика. Задачи более творческие, с неопределенным планом действий 🤷‍♂️

Открыть в Telegram
Просмотры1 566+83%к среднему
Пересылки23
Реакции6
Комментарии0
#526Текстизменён
Просмотры1 702+99%к среднему
Пересылки23
Реакции12
Комментарии4
#525Текстизменён
Просмотры1 673+96%к среднему
Пересылки6
Реакции24
Комментарии6
#524Текстизменён

Что станет с поиском и рекомендациями в эпоху LLM 🦜 По следам дискуссии на Practical ML Раньше было два способа как пользователь находит айтем: это поиск и рекомендации. Теперь к ним добавился ассистент. Что же будет дальше? 1. Веб поиск На первый взгляд кажется, что веб-поиск скоро полностью вытеснится агентами. По факту, у обычного поиска остаются навигационные запросы, короткие частотные запросы, которые не исчезнут. 💎 Очень своевременный мув был сделан Гуглом, а затем Яндексом и другими классическими поисками с добавлением нейропоиска в UI веб поиска с невероятно быстрой скоростью ответа. Я думаю, что все несложные запросы они таким образом отбили. На внешних агентов останется только маленький хвост рисерчей, которые в любом случае долгие. 2. Поиск и рекомендации в маркетплейсах Ни для кого ни секрет, что ассистенты пока ни у кого не взлетели. Там много проблем 🤯 Не получается найти хороший сценарий. «Подбери мне Х» оказался не очень удобным по сравнению с поисковым запросом. В добавок, в UI агента неудобно смотреть айтемы. Я видел вариант где агент кидает по три айтема, чего мало. Либо виджет горизонтального скролла, который конечно плохо просматривается, но хоть что-то. 🔮 Мой прогноз. Традиционный поиск и рекомендации никуда не уйдут. В агента уйдет сценарий рисерчей. - В этом кейсе агент принимает подробное задание от пользователя - Его результат - это ссылки на поиски, может быть в виде виджетов 🏄‍♂ Например «Под твои требования можно посмотреть недорогие новые Самсунги если хочешь android (ссылка) или БУ iphone (ссылка). Можем рассмотреть детально плюсы-минусы моделей» Что думаете? 🐳 - агенты рано или поздно все заменят 🗿 - традиционный поиск и реки никуда не уйдут

Открыть в Telegram
Просмотры1 826+114%к среднему
Пересылки4
Реакции67
Комментарии7
#523Превью ссылкиизменён
Просмотры1 635+92%к среднему
Пересылки5
Реакции16
Комментарии4