AI и грабли

Скоро все AI паблики будут постить новость о том, как Астру научили читать и редактировать веса других LLM и таким образом даже пофиксили баг с зацикливанием в qwen 0.8b И далеко идущие выводы, мол еще чуть-чуть и ллмки будут сами точечно обучать/редактировать новые поколения ллм, рекурсия, сингулярность, блаблабла Вот препринт: https://rikiyat.github.io/blog/weight-space-programming Спойлер: как и большинство mind-blowing статей, это чистое хайпожорство и подгон под красивые заголовки Чтобы аргументированно выпендриваться в своем профессиональном кругу, я покапался в статье и вот че там на самом деле происходит: Ну, во-первых, Астра, конечно, не "читала" напрямую веса 0.8b модельки (они бы тупо в контекст не влезли) Там просто прогнали квен на цепочках токенов с петлями и цепочках без них, а потом находили скриптами активации, которые сильнее всего отличаются в этих двух вариантах. И тупо зануляли веса, которые контрибьютят в эти активации сильнее всего (точнее даже не зануляли, а умножали на -5, чтобы максимально вывернуть эффект в обратную сторону) Чем-то напоминает лоботомию в 20 веке, когда людям с эпилепсией просто шуршали скальпелем в тех местах мозга, где у эпилептиков были основные активации (лобных долях). Эпилепсия обычно пропадала, да. Если что это задача на крепкого DS джуна, тут никакого рокет саенса и уж точно никаких нативных ллмных супер сил не требует А во-вторых, пару экспериментов прямо с чтением весов они и правда сделали, но на супер маленьких модельках, заточенных на узкие задачи и с жесткими подсказками в промпте И без изменения весов – просто ответ на вопрос в какую аркадную игру обучена играть моделька —— Короче, они сделали пару игрушечных экспериментов, чтобы сказать, что модель умеет "читать веса" другой модели, а потом сделали несвязанный тривиальный эксперимент с лоботомией, который делается детерминированным скриптом. Вуаля, хайп обеспечен Если честно, бесит, что таких кликбейтных пейперов становится все больше, а твиттерские из этого раздувают шумиху, и в итоге большинство людей живет в вымышленной реальности С другой стороны, может быть этот шум действительно спровоцирует нормальные работы в этом направлении. Оно, кмк, перспективное

Слухи о том, что moonshot разрешили оплачивать подписки картой мир – не слухи. Проверил, реально работает, но нужен IP в РФ, чтобы получить такое предложение. Курс адекватный, у меня 19 долларов вышло 1600 рублей Почему я вообще об этом пишу? Думаю, это очень хороший знак для всего около ИИ бизнеса. Как будто, развитие ИИ сильно тормозится не столько техническими сложностями, сколько санкционными. А этот шаг, кажется, сильно поменяет ландшафт. Многие бизнесы уже отказываются от игры в кошки-мышки с антропиками и просто соглашаются на китайцев. Сейчас этот тренд кмк усилится И мб история с полноценными агентами в русскоязычном пространстве наконец станет массовой. И чем больше людей их использует, тем больше нам всем будет работы по организации, настройке и обучению

Большая часть людей оказалась в этом канале через одну из конференций, которую я организовывал Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после) На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅 Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно И вот, что мы решили: 1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций 2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас) 3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это 4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет 11-12 ноября с 14:00 по мск. Приводите коллег и начальство Как обычно, можно платно, а можно бесплатно, при подписке на спикеров ai-dev.live

Чтобы LLM не галлюцинировала, нужно дать ей инструменты поиска в интернете (с) любой человек в 24ом году В 26ом – это скорее вредный совет Все чаще при ответе на сложные вопросы я беру большую модель (Astra/Fable) и прошу не использовать поиск в интернете, а подумать самостоятельно Тут есть две причины 1️⃣ В интернете такое большое количество буллщита, особенно в seo-оптимизированных статьях, которые (сюрприз-сюрприз) оказываются в топе поисковой выдачи, что это скорее засирает агенту контекст, чем помогает ему И каждый месяц прогресса только усугубляет ситуацию новыми порциями отборного слопа под видом личных мнений. Уже даже на реддите сложно продираться через это 2️⃣ Первый этап тренировки модели (претрен) – это попытка сжать весь интернет в ограниченное количество параметров модели. И реальные закономерности сжимаются лучше, потому что согласуются друг с другом и описываются более универсальными правилами. А буллщит часто противоречит даже сам себе Короче, если короткая формула третьего закона Ньютона описывает и предсказывает кучу реальных ситуаций, то скорее всего её важнее запомнить, чем пантеон греческих богов, где на объяснение каждого явления нужен отдельный миф, а предсказательной способности все равно не появляется Кстати, недавно посмотрел Пантеон – это разъеб (и это не про Грецию, а про наши с вами ИИ приколы. Удивился, как же чуваки все тонко чувствовали еще в 22м) Вот статья Кости Крестникова, которая показывает этот механизм выучивания согласованных закономерностей. Кстати, одна из немногих из РФ, которую приняли на NeuralPS, респект ——— TL;DR В top-tier моделях скорее всего уже есть нужные знания и скорее всего они уже разложены по полочкам с пониманием, где бред. Для сложных вопросов попробуйте не сбивать модель мусором из поисковика (они все еще слишком цепляются за инфу в контексте)

Это сильно менее залипательно, чем предыдущий пост с mediapipe, но гораздо сложнее технически – эту штуку я в прошлой жизни так и не осилил сделать в разумные сроки Короче, проблема mediapipe в том, что эта штука детектит части нашего тела чисто по одной камере. И даже в глубину умеет. Но очень посредственно – как человек с одним глазом – как бы по общей геометрии примерно понятно, что ближе, что дальше, но полноценное определение расстояний работает только с двумя глазами Если прям душнить, то у нас есть биологический механизм, который позволяет по-честному определять расстояния даже одним глазом, просто он изначально не для этого нужен и работает достаточно медленно и не точно. Респект тому, кто догадается какой Так вот, на видео слева внизу как раз это заметно – при повороте кистей или сжатии кулака рука почему-то куда-то уезжает. Так никакую систему проверки корректности движений для качалок не построишь (когда-то в ковидные годы я с этой идеей даже подавался в стартап-акселератор) Нужна вторая камера А как только появляется вторая камера, сразу нужно учится их калибровать – определять положение относительно друг друга. А потом еще химичить отображение самой сцены – просто проекциями не решается, т.к. сцена – не линия, и на каждой камере имеет свою геометрию. И понеслаааась Короче, в открытом доступе ничего нормально работающего я не нашел, тем более в браузере. Но теперь есть opus-5.5 Спустя пару промптов из серии "...триангуляция...блаблабла...автоматическая рекалибровка...блаблабла...межзрачковое расстояние как референс...блаблабла...протести на открытых датасетах...блаблабла...не дергай меня, сделай сам..." ... я получаю офигенный результат (справа внизу на видео): стабильная сцена, честное расстояние в сантиметрах и устойчивость к сдвигу камер. И все это просто по вебке макбука + iphone (в continuity режиме). Минут 5 наверное сидел довольный, махал руками перед экраном Ноль идей где и как это можно использовать, но зато закрыл свой старый гештальт по настоящему трехмерному pose estimation 🤷‍♂️

Неочевидное плюс текущей ситуации с датацентрами Яндекса для всех, кто делает свои сервисы на рынок РФ Одна из болей разработки ИИ сервисов на ру-рынок – это 152 ФЗ Согласно ему вы не можете отправлять персональные данные (ПД) зарубеж. И по идее, вы должны использовать провайдеров ЛЛМ внутри страны. Чаще всего это либо локальная инфра, либо яндекс, cloud.ru, selectel, etc. Ну или neuraldeep.ru Валеры (бесплатная нативочка, хаха) В этом законе есть одна лазейка, про которую на удивление мало кто знает: вообще-то вы можете отправлять ПД зарубеж, но нужно отправить уведомление в РКН о трансграничной передачи ПД, а в случае с некоторыми странами, вроде США – еще и получить от них аппрув. В целом это относительно не сложно, но проблема есть еще в одном месте – нужно обновлять политику обработки ПД и получать новое согласие от пользователей Для многих бизнесов это очень напряжно, мне на консультациях прям словами через рот об этом говорили Но на фоне ситуации глобального отвала всех сервисов у пользователей, никто не удивиться, если вы напишите что-то вроде "чтобы продолжать работу нашего сервиса мы переносим часть мощностей зарубеж, тыкните, что вы не против" Почему это стратегически полезная штука? Потому что даже когда все восстановится, у вас останется возможность использовать зарубежные сервисы, что сильно повышает стабильность бизнеса и снижает косты P.s. данные все равно придется сохранять сначала в рф – это называется локализацией данных и от этого никуда не деться. Но основная часть продакшена может спокойно жить вовне P.p.s. к Яндексу можно относиться по разному, но простым работягам, кто сейчас все это разгребает – огромный респект

Саша Поляков собрал стату по банам (меня тоже в этот раз задело). Мб кому-то полезно будет глянуть, как избежать проблем

Собрал статистику по банам Claude из комментариев в канале Пост с разбором телеметрии, которую видит Claude собрал несколько публичных репостов и тонны комментариев, поэтому я решил изучить все дискуссии в своём канале, а также в канале у Валеры Ковальского, чтобы выделить общие паттерны для бана и способы снижения рисков. 🔁 Общие черты во всех блокировках • Тариф. Все баны — это Max $100+, тариф Pro не трогали. В комментариях пишут, что новые покупки дорогих тарифов теперь строго по паспорту, но мой последний убитый за 1 сутки аккаунт проверку не получал. • Рассинхрон юрисдикций. Все пострадавшие от блокировок пишут про карту одной страны + IP другой. Казахстанская карта из Германии, сингапурская «Плати по миру» и т.п. • Засвет реального IP. Повторяется очень часто, забыл включить прокси, или он отлетел и получили 403/unsupported location страницу. • Трекинг устройства. Тут лишь гипотеза. Claude хранит на диске machineID (общий для всех аккаунтов на машине), userID (= device_id телеметрии), а в десктопе — реестр ant-device-registry.json, где «одна и та же машина» сознательно привязана к каждому аккаунту. Симптом: новый аккаунт на засвеченном железе умирает за сутки. У меня самого: весной вычистил всё — акк жил полгода; осенью не почистил — день. Парочка мифов: Отношу данные события к мифическим, так как они не подтверждаются массово в обсуждениях и гипотезах + неявно определяют злоупотребления и нарушения правил системы. • Выжигание лимитов. Тут сложно подтвердить. Допустим я последний месяц думал снизить подписку 200 долларов из за огромных остатков. • Ханипоты. Получение подарочных 250 долларов на облачное использование • Обновление подписки. Переход на подписку Max перед баном — думаю воспринимается как подписка Max в момент вердикта. 🌟 Общие черты во всех сохранённых доступах • Тариф. Ни одного свидетельства о блокировках тарифа за 20 долларов • Использование CLI. Юзеры не перешедшие на GUI нативное приложение отчитываются о сохранении доступов. Есть подозрение, что GUI могло собирать дополнительню телеметрию и не уважать прокси. • Полная маскировка. Резидентские IP вместо датацентровых + реальная симка страны (Tello и аналоги) + карта реального банка той же страны. Рекордсмен выборки: 7 аккаунтов с февраля, 0 банов. • Изоляция: отдельная ВМ или мини-ПК под аккаунт; killswitch — Claude физически не может выйти в сеть с реального IP (у одного участника клиент авто-закрывается при падении VPN). 🤔 Вывод простой: под капотом судя по всему скоринговая система по связке регион + железо + платёж + сеть. Минимизировать риск можно консистентностью одной страны, изоляцией устройства и отсутствием проколов по реальному IP. Гарантий не даёт ничего. Вообще с учётом GMT+3 идеальные локации для маскировки: Турция и Саудовская аравия. Осталось создать в этих странах банковскую карту. Кто уже продлил тариф Max после 1 октября? Кажется теперь спросить «как предохранялись?» можно и у AI-кодеров? ---- Поляков считает — AI, код и кейсы

О, мой баг репорт в getbb.app приняли. Приятно быть причастным к развитию того, чем сам пользуешься P.s. теперь можно ходить по чужим ссылкам <user>.getbb.app без риска перехвата аккаунта

А у вас тоже есть задачки, в которых нужно очень много и глубоко думать, но вы их откладываете, потому что менеджерите 10 переключающихся контекстов, которые вас постоянно пингуют своими тупыми и не очень вопросами?