🏓 Научил SO-101 делать мой трюк с шариком для настольного тенниса. Пока в симуляции. В прошлом посте я показывал, как SO-101 набивает шарик в симуляции. Там работал обычный алгоритм: формулы и контроллер, написанные руками. Дальше захотелось убрать мой код совсем и проверить чистый RL: роняем мяч, робот делает случайные движения, уронил - проиграл, набил - получил награду. А в реальной жизни у меня есть любимый трюк с шариком для настольного тенниса, который я всем показываю: набиваю, набиваю, а потом ракетка делает вертикальную петлю вокруг шарика - поднимается выше него, опускается с другой стороны и ловит снизу. Вот и подумал: а смогу ли я научить этому SO-101. Набивать мяч RL научился сам, за несколько десятков миллионов шагов в симуляции. Но сначала он нашел лазейку: держал мяч почти на ракетке, а счетчик отскоков рос. Пришлось требовать минимум 18 см вверх. С трюком было еще смешнее: я дал награду за угол вокруг мяча, счетчик показывал 308 градусов, а на видео ракетка просто махала из стороны в сторону. Потом трюк начал засчитываться, но оказалось, что это "ловля шлепком" - мяч улетал на полтора метра в сторону. Мой главный вывод: в RL почти все время уходит на reward model, а не на сеть. Любую награду, которую я писал, RL выполнял так, как ему удобнее, а не так, как я имел в виду. А настоящая петля настолько редкое событие, что случайными движениями робот на нее просто не натыкается, награда почти никогда не срабатывает, и учиться не на чем. Сработала комбинация: сначала перебор движений доказал, что петля физически возможна с этими сервоприводами, потом робот имитировал найденные движения, и только потом RL их доводил. Сложнее всего оказалось склеить все вместе: обычный отскок - петля - обычный - петля. На чистых политиках максимум 3 петли подряд. С look-ahead, когда перед каждым полетом робот проигрывает несколько вариантов в копии симуляции и выбирает рабочий, получилось 37 подряд и 86% удачных петель. Честно оговорюсь: это идеальная модель мира, у реального робота ее нет. Но самое интересное для меня в этом эксперименте даже не RL. Большую часть итераций делал AI-агент, пока я спал: смотрел видео и метрики, находил очередную лазейку в награде, придумывал гипотезу, менял правила и запускал новое обучение. Он же нашел, что часть результатов считалась с багом, и сам предложил look-ahead. Я задавал цель и иногда поправлял направление. По сути это self-improving подход: система сама ищет новые идеи, что проверить дальше, и проверяет их. Именно про это я хочу поговорить на следующей неделе, 10 ноября: как я научил своих AI-агентов улучшать себя каждый день. https://luma.com/sslznifi На видео все этапы по порядку. #robotics@rvnikita_blog #so101@rvnikita_blog #rl@rvnikita_blog #ai@rvnikita_blog #agents@rvnikita_blog ————————— Мысли Рвачева —————————
Open in TelegramViews137−91%vs avg
Forwards5
Reactions3
Comments0