Posts of AI и грабли

Скоро все AI паблики будут постить новость о том, как Астру научили читать и редактировать веса других LLM и таким образом даже пофиксили баг с зацикливанием в qwen 0.8b И далеко идущие выводы, мол еще чуть-чуть и ллмки будут сами точечно обучать/редактировать новые поколения ллм, рекурсия, сингулярность, блаблабла Вот препринт: https://rikiyat.github.io/blog/weight-space-programming Спойлер: как и большинство mind-blowing статей, это чистое хайпожорство и подгон под красивые заголовки Чтобы аргументированно выпендриваться в своем профессиональном кругу, я покапался в статье и вот че там на самом деле происходит: Ну, во-первых, Астра, конечно, не "читала" напрямую веса 0.8b модельки (они бы тупо в контекст не влезли) Там просто прогнали квен на цепочках токенов с петлями и цепочках без них, а потом находили скриптами активации, которые сильнее всего отличаются в этих двух вариантах. И тупо зануляли веса, которые контрибьютят в эти активации сильнее всего (точнее даже не зануляли, а умножали на -5, чтобы максимально вывернуть эффект в обратную сторону) Чем-то напоминает лоботомию в 20 веке, когда людям с эпилепсией просто шуршали скальпелем в тех местах мозга, где у эпилептиков были основные активации (лобных долях). Эпилепсия обычно пропадала, да. Если что это задача на крепкого DS джуна, тут никакого рокет саенса и уж точно никаких нативных ллмных супер сил не требует А во-вторых, пару экспериментов прямо с чтением весов они и правда сделали, но на супер маленьких модельках, заточенных на узкие задачи и с жесткими подсказками в промпте И без изменения весов – просто ответ на вопрос в какую аркадную игру обучена играть моделька —— Короче, они сделали пару игрушечных экспериментов, чтобы сказать, что модель умеет "читать веса" другой модели, а потом сделали несвязанный тривиальный эксперимент с лоботомией, который делается детерминированным скриптом. Вуаля, хайп обеспечен Если честно, бесит, что таких кликбейтных пейперов становится все больше, а твиттерские из этого раздувают шумиху, и в итоге большинство людей живет в вымышленной реальности С другой стороны, может быть этот шум действительно спровоцирует нормальные работы в этом направлении. Оно, кмк, перспективное

Слухи о том, что moonshot разрешили оплачивать подписки картой мир – не слухи. Проверил, реально работает, но нужен IP в РФ, чтобы получить такое предложение. Курс адекватный, у меня 19 долларов вышло 1600 рублей Почему я вообще об этом пишу? Думаю, это очень хороший знак для всего около ИИ бизнеса. Как будто, развитие ИИ сильно тормозится не столько техническими сложностями, сколько санкционными. А этот шаг, кажется, сильно поменяет ландшафт. Многие бизнесы уже отказываются от игры в кошки-мышки с антропиками и просто соглашаются на китайцев. Сейчас этот тренд кмк усилится И мб история с полноценными агентами в русскоязычном пространстве наконец станет массовой. И чем больше людей их использует, тем больше нам всем будет работы по организации, настройке и обучению

Большая часть людей оказалась в этом канале через одну из конференций, которую я организовывал Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после) На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅 Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно И вот, что мы решили: 1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций 2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас) 3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это 4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет 11-12 ноября с 14:00 по мск. Приводите коллег и начальство Как обычно, можно платно, а можно бесплатно, при подписке на спикеров ai-dev.live

Чтобы LLM не галлюцинировала, нужно дать ей инструменты поиска в интернете (с) любой человек в 24ом году В 26ом – это скорее вредный совет Все чаще при ответе на сложные вопросы я беру большую модель (Astra/Fable) и прошу не использовать поиск в интернете, а подумать самостоятельно Тут есть две причины 1️⃣ В интернете такое большое количество буллщита, особенно в seo-оптимизированных статьях, которые (сюрприз-сюрприз) оказываются в топе поисковой выдачи, что это скорее засирает агенту контекст, чем помогает ему И каждый месяц прогресса только усугубляет ситуацию новыми порциями отборного слопа под видом личных мнений. Уже даже на реддите сложно продираться через это 2️⃣ Первый этап тренировки модели (претрен) – это попытка сжать весь интернет в ограниченное количество параметров модели. И реальные закономерности сжимаются лучше, потому что согласуются друг с другом и описываются более универсальными правилами. А буллщит часто противоречит даже сам себе Короче, если короткая формула третьего закона Ньютона описывает и предсказывает кучу реальных ситуаций, то скорее всего её важнее запомнить, чем пантеон греческих богов, где на объяснение каждого явления нужен отдельный миф, а предсказательной способности все равно не появляется Кстати, недавно посмотрел Пантеон – это разъеб (и это не про Грецию, а про наши с вами ИИ приколы. Удивился, как же чуваки все тонко чувствовали еще в 22м) Вот статья Кости Крестникова, которая показывает этот механизм выучивания согласованных закономерностей. Кстати, одна из немногих из РФ, которую приняли на NeuralPS, респект ——— TL;DR В top-tier моделях скорее всего уже есть нужные знания и скорее всего они уже разложены по полочкам с пониманием, где бред. Для сложных вопросов попробуйте не сбивать модель мусором из поисковика (они все еще слишком цепляются за инфу в контексте)

Это сильно менее залипательно, чем предыдущий пост с mediapipe, но гораздо сложнее технически – эту штуку я в прошлой жизни так и не осилил сделать в разумные сроки Короче, проблема mediapipe в том, что эта штука детектит части нашего тела чисто по одной камере. И даже в глубину умеет. Но очень посредственно – как человек с одним глазом – как бы по общей геометрии примерно понятно, что ближе, что дальше, но полноценное определение расстояний работает только с двумя глазами Если прям душнить, то у нас есть биологический механизм, который позволяет по-честному определять расстояния даже одним глазом, просто он изначально не для этого нужен и работает достаточно медленно и не точно. Респект тому, кто догадается какой Так вот, на видео слева внизу как раз это заметно – при повороте кистей или сжатии кулака рука почему-то куда-то уезжает. Так никакую систему проверки корректности движений для качалок не построишь (когда-то в ковидные годы я с этой идеей даже подавался в стартап-акселератор) Нужна вторая камера А как только появляется вторая камера, сразу нужно учится их калибровать – определять положение относительно друг друга. А потом еще химичить отображение самой сцены – просто проекциями не решается, т.к. сцена – не линия, и на каждой камере имеет свою геометрию. И понеслаааась Короче, в открытом доступе ничего нормально работающего я не нашел, тем более в браузере. Но теперь есть opus-5.5 Спустя пару промптов из серии "...триангуляция...блаблабла...автоматическая рекалибровка...блаблабла...межзрачковое расстояние как референс...блаблабла...протести на открытых датасетах...блаблабла...не дергай меня, сделай сам..." ... я получаю офигенный результат (справа внизу на видео): стабильная сцена, честное расстояние в сантиметрах и устойчивость к сдвигу камер. И все это просто по вебке макбука + iphone (в continuity режиме). Минут 5 наверное сидел довольный, махал руками перед экраном Ноль идей где и как это можно использовать, но зато закрыл свой старый гештальт по настоящему трехмерному pose estimation 🤷‍♂️

Неочевидное плюс текущей ситуации с датацентрами Яндекса для всех, кто делает свои сервисы на рынок РФ Одна из болей разработки ИИ сервисов на ру-рынок – это 152 ФЗ Согласно ему вы не можете отправлять персональные данные (ПД) зарубеж. И по идее, вы должны использовать провайдеров ЛЛМ внутри страны. Чаще всего это либо локальная инфра, либо яндекс, cloud.ru, selectel, etc. Ну или neuraldeep.ru Валеры (бесплатная нативочка, хаха) В этом законе есть одна лазейка, про которую на удивление мало кто знает: вообще-то вы можете отправлять ПД зарубеж, но нужно отправить уведомление в РКН о трансграничной передачи ПД, а в случае с некоторыми странами, вроде США – еще и получить от них аппрув. В целом это относительно не сложно, но проблема есть еще в одном месте – нужно обновлять политику обработки ПД и получать новое согласие от пользователей Для многих бизнесов это очень напряжно, мне на консультациях прям словами через рот об этом говорили Но на фоне ситуации глобального отвала всех сервисов у пользователей, никто не удивиться, если вы напишите что-то вроде "чтобы продолжать работу нашего сервиса мы переносим часть мощностей зарубеж, тыкните, что вы не против" Почему это стратегически полезная штука? Потому что даже когда все восстановится, у вас останется возможность использовать зарубежные сервисы, что сильно повышает стабильность бизнеса и снижает косты P.s. данные все равно придется сохранять сначала в рф – это называется локализацией данных и от этого никуда не деться. Но основная часть продакшена может спокойно жить вовне P.p.s. к Яндексу можно относиться по разному, но простым работягам, кто сейчас все это разгребает – огромный респект

Саша Поляков собрал стату по банам (меня тоже в этот раз задело). Мб кому-то полезно будет глянуть, как избежать проблем

Собрал статистику по банам Claude из комментариев в канале Пост с разбором телеметрии, которую видит Claude собрал несколько публичных репостов и тонны комментариев, поэтому я решил изучить все дискуссии в своём канале, а также в канале у Валеры Ковальского, чтобы выделить общие паттерны для бана и способы снижения рисков. 🔁 Общие черты во всех блокировках • Тариф. Все баны — это Max $100+, тариф Pro не трогали. В комментариях пишут, что новые покупки дорогих тарифов теперь строго по паспорту, но мой последний убитый за 1 сутки аккаунт проверку не получал. • Рассинхрон юрисдикций. Все пострадавшие от блокировок пишут про карту одной страны + IP другой. Казахстанская карта из Германии, сингапурская «Плати по миру» и т.п. • Засвет реального IP. Повторяется очень часто, забыл включить прокси, или он отлетел и получили 403/unsupported location страницу. • Трекинг устройства. Тут лишь гипотеза. Claude хранит на диске machineID (общий для всех аккаунтов на машине), userID (= device_id телеметрии), а в десктопе — реестр ant-device-registry.json, где «одна и та же машина» сознательно привязана к каждому аккаунту. Симптом: новый аккаунт на засвеченном железе умирает за сутки. У меня самого: весной вычистил всё — акк жил полгода; осенью не почистил — день. Парочка мифов: Отношу данные события к мифическим, так как они не подтверждаются массово в обсуждениях и гипотезах + неявно определяют злоупотребления и нарушения правил системы. • Выжигание лимитов. Тут сложно подтвердить. Допустим я последний месяц думал снизить подписку 200 долларов из за огромных остатков. • Ханипоты. Получение подарочных 250 долларов на облачное использование • Обновление подписки. Переход на подписку Max перед баном — думаю воспринимается как подписка Max в момент вердикта. 🌟 Общие черты во всех сохранённых доступах • Тариф. Ни одного свидетельства о блокировках тарифа за 20 долларов • Использование CLI. Юзеры не перешедшие на GUI нативное приложение отчитываются о сохранении доступов. Есть подозрение, что GUI могло собирать дополнительню телеметрию и не уважать прокси. • Полная маскировка. Резидентские IP вместо датацентровых + реальная симка страны (Tello и аналоги) + карта реального банка той же страны. Рекордсмен выборки: 7 аккаунтов с февраля, 0 банов. • Изоляция: отдельная ВМ или мини-ПК под аккаунт; killswitch — Claude физически не может выйти в сеть с реального IP (у одного участника клиент авто-закрывается при падении VPN). 🤔 Вывод простой: под капотом судя по всему скоринговая система по связке регион + железо + платёж + сеть. Минимизировать риск можно консистентностью одной страны, изоляцией устройства и отсутствием проколов по реальному IP. Гарантий не даёт ничего. Вообще с учётом GMT+3 идеальные локации для маскировки: Турция и Саудовская аравия. Осталось создать в этих странах банковскую карту. Кто уже продлил тариф Max после 1 октября? Кажется теперь спросить «как предохранялись?» можно и у AI-кодеров? ---- Поляков считает — AI, код и кейсы

О, мой баг репорт в getbb.app приняли. Приятно быть причастным к развитию того, чем сам пользуешься P.s. теперь можно ходить по чужим ссылкам <user>.getbb.app без риска перехвата аккаунта

А у вас тоже есть задачки, в которых нужно очень много и глубоко думать, но вы их откладываете, потому что менеджерите 10 переключающихся контекстов, которые вас постоянно пингуют своими тупыми и не очень вопросами?

No text

No text

No text

Anthropic > OpenAI, но есть пара но Предпосылки 1. opus-5.5 очень хорош 2. DevDay openai – унылое зрелище 3. Они недавно остановили обучение новой версии из-за очередной попытки побега агентов из песочницы (чисто я в 4 года) Казалось бы, все только недавно бежали к openai за астрой, а теперь обратно за opus'ом. Я сижу и там и там, и выстроил систему, чтобы бесшовно перелезать с одного на другой Но в экосистеме клод клода есть несколько штук, которые меня бесят: 1. Встроенное управление вашим хромом (Claude in Chrome) жрет кучу токенов и очень медленно работает 2. Ужасные Artifacts вместо прекрасных Sites (сборка и деплой легковесных сайтов с бэком на стэке claudflare workers). Клодовский артефакт с базой данных тупо нельзя пошерить вовне организации 🥴 3. Ну и нет встроенной генерации картинок Сегодня расскажу, как лечить первую штуку, если у вас клод, а если вы в целом не используете browser use – расскажу зачем это нужно и как использую я. С этого и начнем: - Все редкие задачи, для которых лень настраивать честный API/CLI/MCP - Когда в целом нет нормального/дешевого API (многие личные кабинеты различных сервисов: hh, linkedin, dnsadmin, getcourse и т.д.) - Или если в них нет нужного метода (ЭЦП в сервисах ЭДО) - Когда не готов автоматизировать скриптами (вместо telethon использую telegram web, когда приспичит) Для этого не подходит встроенный в клод код браузер, нужен мой личный хром. Для этого есть отдельный плагин Claude in Chrome, но я использую playwriter.dev (не путать с Playwright!) В отличие от Claude in Chrome решения, он: - работает с нативным Playwright синтаксисом - переносится между агентами (особенно актуально, если вы сидите на opencode/pi или китайцах) - текстовые A11y снэпшоты вместо скринов (вот и экономия) - дебаггер и сырой CDP доступ (полезно, агент мог достать приватные API сервисов) - полный доступ к iframe'ам - браузерный алерт не превращает агента в беспомощного котенка - встроенный record-skill (записываете, как решаете задачу, а агент запоминает это как скилл, в codex есть такая штука отдельно) Сейчас даже удивительно, что это у меня первый пост про playwriter.dev – хотя это скилл, который у меня в статистике использования топ-1 с большим отрывом И, кстати да, не забываем отправить агента установить официальный скилл (npx -y skills add https://playwriter.dev или прям напрямую с гитхаба стащить) Более полный список отличий на моем браузерном мини-бенче ↓

Скоро: видео-монтаж-слоп во всех лентах страны Opus-5.5 теперь сам такое ваншотит на remotion, в т.ч. офигенно подстраивает звук под анимации. Раньше у меня такое работало только с кучей правок и корректировок, было больно Сейчас для меня выглядит прям неплохо, но как ребята в чате верно заметили, нас всех через пару месяцев от такого будет тянуть блевать (а кого-то, кто глубоко в медиа-генерации, наверное, уже) P.s. контент для видео агент сам насобирал под соусом анализа моих чатов, но полезного там почти ничего нет – со смыслами все еще нужно работать вручную

О, Валера @neuraldeep принял эстафету и выложил свой neuraldeep.ru/depth с детекцией глубины по одиночной камере

Я уже неделю не могу дописать важный пост про SynthID – метку о том, что контент сгенерирован, которую провайдеры зашивают в картинки (а с недавнего времени еще и в аудио и даже текст), а главное, про мои тесты её удаления Так вот, пока серьёзные посты ждут своей очереди, вот вам несерьёзный – увидел в рилсе девочку, которая себе сделала такое, как на видео. Меня пробило ностальгией, скинул ссылку на рилс опусу, сказал, повтори, только чтобы все чисто в браузере работало Через 3 минуты все было готово. Мозгу очевидно, что это не рокет сайенс уже давно, но чисто на уровне ощущений – очень приятно, что то, на что у меня 9 лет назад ушло несколько месяцев, сейчас можно сделать за три минуты и оно будет даже более залипательным Поиграться самим тут Кстати, если у кого-то есть оригинальные идеи, как использовать mediapipe (это готовый набор примитивов для on-device hand и face трэккинга) не только для забавных демок – поделитесь в комментах

Стартуем https://youtu.be/rQWGshpC1rc?t=661

⬆️ Расскажу про vscode moment для агентов и нативный способ дать клод коду оркестрировать кодекс агентов и наоборот

Что вы знаете про bb? Они называют себя "AI IDE that builds itself". Достаточно молодой проект, который из коробки закрывает целый спектр задач, где раньше приходилось велосипедить всем колхозом. В текстовом варианте можете почитать отличный обзор у Рефата. Я же хочу предложить вам совместно изучить bb в формате практического стрима. Вместе со мной разбираться в особенностях этой IDE будут: 1. Рефат, автор канала "Refat Talks: Tech & AI" (кстати, у нас с Рефатом есть классный стрим про фреймворк Mastra) 2. Коля, автор канала "AI и грабли" Проходить стрим будет на моём YouTube-канале. Дата и время: 21 сентября, 19:00 GTM+3 Ссылка для добавления события в календарь p.s.: Почему парень из Сингапура назвал проект так, будто забыл переключить раскладку на русский язык, чтобы написать "ИИ"?

No text

No text

No text

No text