Мысли Рвачева

🏓 Научил SO-101 делать мой трюк с шариком для настольного тенниса. Пока в симуляции. В прошлом посте я показывал, как SO-101 набивает шарик в симуляции. Там работал обычный алгоритм: формулы и контроллер, написанные руками. Дальше захотелось убрать мой код совсем и проверить чистый RL: роняем мяч, робот делает случайные движения, уронил - проиграл, набил - получил награду. А в реальной жизни у меня есть любимый трюк с шариком для настольного тенниса, который я всем показываю: набиваю, набиваю, а потом ракетка делает вертикальную петлю вокруг шарика - поднимается выше него, опускается с другой стороны и ловит снизу. Вот и подумал: а смогу ли я научить этому SO-101. Набивать мяч RL научился сам, за несколько десятков миллионов шагов в симуляции. Но сначала он нашел лазейку: держал мяч почти на ракетке, а счетчик отскоков рос. Пришлось требовать минимум 18 см вверх. С трюком было еще смешнее: я дал награду за угол вокруг мяча, счетчик показывал 308 градусов, а на видео ракетка просто махала из стороны в сторону. Потом трюк начал засчитываться, но оказалось, что это "ловля шлепком" - мяч улетал на полтора метра в сторону. Мой главный вывод: в RL почти все время уходит на reward model, а не на сеть. Любую награду, которую я писал, RL выполнял так, как ему удобнее, а не так, как я имел в виду. А настоящая петля настолько редкое событие, что случайными движениями робот на нее просто не натыкается, награда почти никогда не срабатывает, и учиться не на чем. Сработала комбинация: сначала перебор движений доказал, что петля физически возможна с этими сервоприводами, потом робот имитировал найденные движения, и только потом RL их доводил. Сложнее всего оказалось склеить все вместе: обычный отскок - петля - обычный - петля. На чистых политиках максимум 3 петли подряд. С look-ahead, когда перед каждым полетом робот проигрывает несколько вариантов в копии симуляции и выбирает рабочий, получилось 37 подряд и 86% удачных петель. Честно оговорюсь: это идеальная модель мира, у реального робота ее нет. Но самое интересное для меня в этом эксперименте даже не RL. Большую часть итераций делал AI-агент, пока я спал: смотрел видео и метрики, находил очередную лазейку в награде, придумывал гипотезу, менял правила и запускал новое обучение. Он же нашел, что часть результатов считалась с багом, и сам предложил look-ahead. Я задавал цель и иногда поправлял направление. По сути это self-improving подход: система сама ищет новые идеи, что проверить дальше, и проверяет их. Именно про это я хочу поговорить на следующей неделе, 10 ноября: как я научил своих AI-агентов улучшать себя каждый день. https://luma.com/sslznifi На видео все этапы по порядку. #robotics@rvnikita_blog #so101@rvnikita_blog #rl@rvnikita_blog #ai@rvnikita_blog #agents@rvnikita_blog ————————— Мысли Рвачева —————————

🔁 Вебинар "Как я научил своих AI-агентов улучшать себя каждый день" Ребята, хочу продолжить организовывать созвоны и вебинары на темы вокруг AI и современных технологий. Последнее время много экспериментирую с self-improving агентами. Первым шагом в эту сторону стал мой антиспам (у меня большое сообщество, которое атакуют умные боты). Годами я развивал его на своих идеях, но подход "дать агенту самому пробовать и улучшаться" легко обыграл все предыдущие. За двое суток агент провел 84 эксперимента, и новая модель пропускает вдвое меньше спама. О чем поговорим: - что такое RSI (рекурсивное самоулучшение) и autoresearch, и где подвох - мой эксперимент: как устроен цикл, графики, что сработало и что нет - как я применяю те же идеи к своим агентам: память, правила из ошибок, навыки, которые дописываются после каждого раза - как запустить такой цикл у себя 📆 Вторник, 10 ноября, 11:30am ET / 19:30 MSK 📍 Регистрация на Luma: https://luma.com/sslznifi #rsi@rvnikita_blog #agents@rvnikita_blog #claudecode@rvnikita_blog #ai@rvnikita_blog ————————— Мысли Рвачева —————————

🌧 Airbnb начал страховать гостей от плохой погоды: если в отпуске идет дождь, деньги приходят автоматически. Меня всегда завлекал страховой бизнес в неочевидном формате. Помню, Байрам рассказывал про проект, где на криптоалгоритме можно было сделать ставку, прилетит самолет вовремя или нет. С одной стороны клиентом оказывался бизнес, который возит свежие скоропортящиеся продукты, например рыбу, и теряет деньги из-за задержек. Для них это способ застраховаться. С другой стороны были любители ставок и те, кто умеет хорошо предсказывать задержки с помощью ML-модели и на этом зарабатывает. Теперь в этот рынок шагнул Airbnb. Продукт называется Weather Protection, страховщик - Chubb, пока он доступен жителям 10 европейских стран. Это так называемая параметрическая страховка: никаких заявлений и оценщиков, есть только порог. Если в месте, где вы живете, с 8 утра до 8 вечера идет дождь хотя бы 1.5 мм в час нужное количество часов, выплата за этот день приходит сама. От 50 до 1000 евро в день, данные об осадках берутся из NASA, ECMWF и NOAA. По сути это та же ставка: гость ставит на то, что будет дождь, а страховщик - на то, что не будет. Похожие продукты уже есть у Vrbo и Marriott, так что погода, похоже, становится стандартной опцией при бронировании. https://www.airbnb.com/help/article/4159 https://x.com/Autonomous_Chad/status/2117617537659601077 #airbnb@rvnikita_blog #insurance@rvnikita_blog #insurtech@rvnikita_blog #travel@rvnikita_blog ————————— Мысли Рвачева —————————

Давно посматриваю на робототехнику и искренне верю, что GPT-момент в робототехнике близок, и если он произойдет, мир изменится на порядок сильнее, чем от появления LLM. У меня давно пылится роборука SO-101: на одном из хакатонов я успел только на 95% ее собрать и откалибровать, и на этом все закончилось. Понятно, что сейчас с нейросетками обучаться и строить прототипы стало быстрее, поэтому хочу вернуться к ней. В симуляции накидал то, что хотелось бы реализовать в реальности (понятно, что в реальности сильно сложнее из-за люфтов и в принципе разницы между симуляцией и реальным миром). Говоря про робототехнику: какую топ-1 задачу вам хотелось бы отдать роботу, причем настолько, что вы готовы заплатить, чтобы его купить? #robotics@rvnikita_blog #so101@rvnikita_blog #simulation@rvnikita_blog ————————— Мысли Рвачева —————————

⚡️ Anthropic обновила S-1 перед IPO. Самое интересное там - одна фраза в разделе рисков. Дословно: "our internal estimates and our expectations regarding future models, rather than our current models, indicate that we may imminently meet our Responsible Scaling Policy's definition of "dramatically accelerated progress attributable to AI"". То есть по внутренним оценкам компании ее следующие модели вот-вот могут пересечь порог, при котором AI заметно ускоряет собственную разработку. Это то, что обычно называют recursive self-improvement. В Anthropic это называют "closing the loop": каждая версия Claude помогает строить следующую. Текущие модели за порог формально не признаны, но компания сама пишет, что значительное ускорение может заметить только после того, как оно уже произошло. Масштаб этого цикла видно по цифрам. Стоимость внутреннего использования Claude по прайсовым ценам выросла более чем в 250 раз с января по сентябрь 2026, а с апреля она больше, чем все расходы на зарплаты (без учета акций). При этом Anthropic отдельно пишет, что не планирует давать Claude полностью автономно строить следующие поколения моделей без человеческого контроля и думает над обновлением RSP, чтобы люди оставались в контуре. Финансы тоже впечатляют: - выручка за 9 месяцев 2026 года - $33.2 млрд против $2.5 млрд годом ранее, за весь 2025 было $4.6 млрд - клиентов, которые платят больше $100k в год, стало больше 11 900, год назад было 950 - операционный убыток за 9 месяцев сократился до $1.3 млрд с $5.2 млрд - общие обязательства по compute и инфраструктуре - около $895 млрд до 2045 года, из них $447.5 млрд до конца 2030 Как думаете, Anthropic правда в шаге от RSI или это разгон перед IPO? https://www.sec.gov/Archives/edgar/data/2130357/000162828026068676/anthropicpbc-sx1ax1.htm https://finance.yahoo.com/technology/article/anthropic-reveals-amended-s-1-outlining-huge-spending-commitments-rising-sales-153635825.html #anthropic@rvnikita_blog #claude@rvnikita_blog #ipo@rvnikita_blog #agi@rvnikita_blog #safety@rvnikita_blog ————————— Мысли Рвачева —————————

🐻 Смотрю, до куда сейчас могут добраться AI агенты. За один вечер агент собрал мне в Blender анимированного медведя, а я Blender ни разу в жизни не открывал. Недавно созванивался для консультации по проекту, который делает очень реалистичные e-commerce сцены: товар можно повращать, поменять материал, чтобы создать больше присутствия для премиум продуктов. Решил поковырять технологию сам, но руками ничего не делал - только писал сообщения Claude-агенту в Telegram, а он работал на Mac mini. Что он сделал за вечер: - разобрал демо с лампой и выяснил, что это не live-3D, а заранее отрендеренные кадры: 144 ракурса на каждый вариант материала плюс фото комнаты со светом и без - сам поставил Blender и Python-скриптом собрал сцену: медведь-скульптура на подиуме, студийный свет, рендер в Cycles - сделал медведя из трех видов мрамора и страницу, где его можно крутить пальцем, как ту лампу - по моей просьбе открыл ему пасть с клыками и добавил стекло, кашемир и дерево. Я прислал два фото, образец дуба и мохеровый свитер: дерево он сделал прямо из фото, а мохер - из настоящих волокон поверх вязки - собрал скелет и анимацию: медведь идет, лапы сгибаются и ставятся на пол, потом он останавливается, поворачивается в камеру и рычит Blender собирает невероятные вещи из прямых промптов. И каждый такой шаг приводит к немного устрашающему вопросу, что нас ждет через 5-10 лет, если такое можно собрать, не трогая инструмент ни разу. #ai@rvnikita_blog #agents@rvnikita_blog #claude@rvnikita_blog #blender@rvnikita_blog #3d@rvnikita_blog ————————— Мысли Рвачева —————————

📉 "Be fearful when others are greedy and greedy when others are fearful" - самая цитируемая фраза Warren Buffett. Впервые он написал ее в письме акционерам Berkshire Hathaway в 1986 году: "We simply attempt to be fearful when others are greedy and to be greedy only when others are fearful". Звучит как банальность. Проблема в том, что в момент паники так поступать почти невозможно: все вокруг продают, новости одна хуже другой, а твой собственный портфель уже минус 30%. Самый известный пример того, как он сам это делал, - осень 2008 года. 23 сентября, через неделю после банкротства Lehman Brothers, Berkshire вложил $5 млрд в Goldman Sachs. Взамен Buffett получил привилегированные акции с дивидендом 10% годовых и опцион на покупку еще $5 млрд акций по $115. Через месяц, 16 октября, он опубликовал в New York Times колонку "Buy American. I Am." и написал, что начал покупать американские акции на личный счет, где до этого лежали только гособлигации. К 2013 году сделка с Goldman принесла около $3.2 млрд прибыли. Работает это правило и в обратную сторону. Перед тем как в январе 2026 года передать пост CEO Greg Abel, Buffett несколько кварталов подряд больше продавал, чем покупал, и к концу 2025 года у Berkshire накопилось около $380 млрд в кэше и казначейских облигациях. Тогда это многие критиковали - рынок рос, а он сидел в деньгах. Мне кажется, сложность в том, что "страх" и "жадность" видны только задним числом. В моменте падение на 20% выглядит как начало катастрофы, а рост на 20% - как новая норма. Поэтому у Buffett это правило держится на подготовке: заранее понимать, сколько стоит бизнес, и иметь кэш, когда другие вынуждены продавать. https://www.nytimes.com/2008/10/17/opinion/17buffett.html #warren_buffett@rvnikita_blog #investing@rvnikita_blog #berkshire_hathaway@rvnikita_blog #finance@rvnikita_blog ————————— Мысли Рвачева —————————

📚 Возвращаясь к субботней рубрике "что еще почитать": сегодня рекомендую канал Никиты Толстого - "Поиски Толстого". Никита пишет про управление, смыслы и книги. Мне нравится, что это собственный опыт, а не пересказ чужих фреймворков. Первая работа, где нужно было поддерживать слайды с оргструктурой на 1000 человек, когда актуальные данные хранятся только в головах вице-президентов. Конспект всех интервью Галицкого, чтобы понять, каким менеджером он был в первые годы Магнита. Мотопутешествие в Крым, чтобы наконец понять свое предназначение. Из последнего зацепил пост про заказчиков и исполнителей. Хороший заказчик почти никогда не находится в моменте: сначала он в прошлом (опыт, контекст), потом в будущем (критерии приемки, кто будет все это поддерживать), и только ненадолго в настоящем. И совет из книги для начинающих режиссеров, который Никита любит больше всего: максимально оттягивайте день начала съемок. Рекомендую. https://t.me/nikita_tolstoy #nikita_tolstoy@rvnikita_blog #recommendations@rvnikita_blog #management@rvnikita_blog ————————— Мысли Рвачева —————————

Крутая идея от Chamath Palihapitiya, как читать S-1. Напомню, что S-1 - это документ, который компания публикует перед тем, как выйти на IPO. Так вот, первое, что он делает: просит команду или агента пройтись по разделу с рисками и составить облако тегов, чтобы понять, чего компания боится. Очень хороший эксперимент, чтобы понять, чего компания боится больше всего, не глядя в первую очередь на финансы. #chamath_palihapitiya@rvnikita_blog #ipo@rvnikita_blog #anthropic@rvnikita_blog ————————— Мысли Рвачева —————————

Удивительно, как Илон Маск создает все то, что я отвечал в детстве на вопрос "о чем ты мечтаешь, что невозможно". Неделю назад летающие автомобили, сегодня телепатия. Когда там уже телепортация, Илон? source https://x.com/neuralink/status/2115878416423784939 #elon_musk@rvnikita_blog #neuralink@rvnikita_blog ————————— Мысли Рвачева —————————