Но само интервью занятное. Сделал суммаризацию, если интересно, почитайте. Особенно про математику и токеномику.
00:00:12 - PHP week (Неделя уязвимостей PHP)
Сеня рассказывает, как ИИ-модели обнаружили критические уязвимости в PHP, существовавшие много лет. Проблема, по его мнению, не в том, что ИИ внезапно научился искать ошибки, а в том, что раньше никто не применял такие возможности систематически ко всему доступному коду. Он ожидает обнаружения гораздо большего количества серьёзных уязвимостей. Простого исправления отдельных ошибок может оказаться недостаточно: потребуется переосмыслить архитектуру операционных систем, приложений, сетей и маршрутизаторов. Благодаря ИИ переписывание целых программных стеков, прежде казавшееся практически невозможным, становится реалистичным направлением разработки. OpenAI отдельно описала обнаружение PHP-уязвимостей в своей инициативе Patch the Planet.
00:02:37 - Internet early days (Ранний интернет)
Сеня сравнивает нынешний ИИ с появлением массового интернета. Главное сходство он видит в творческой свободе: дети уже способны создавать полноценные трёхмерные игры примерно за десять минут, тогда как раньше даже простая программа требовала значительных усилий. Новое поколение будет воспринимать создание программ по запросу как естественную возможность компьютера. Он приводит показательный случай: однажды в OpenAI произошёл серьёзный сбой Codex, и сотрудники внезапно почувствовали, насколько привыкли программировать с помощью ИИ. По его мнению, традиционное ручное программирование постепенно превращается в исторический навык, подобно работе с перфокартами или ассемблером.
00:07:33 - Cyber Blue (ИИ для киберзащиты)
Коллисон спрашивает, не было ли ошибкой целенаправленно обучать ИИ кибератакам. Сеня признаёт, что индустрия недостаточно объяснила обществу, почему потенциальная польза ИИ оправдывает возникающие риски. Он защищает постепенное развёртывание моделей, позволяющее людям использовать технологии и адаптироваться к ним, но подчёркивает необходимость предварительной проверки безопасности. В случае с PHP первые сутки после раскрытия уязвимостей, по его словам, прошли лучше ожидаемого: компании применяли ИИ для поиска проблем, создания исправлений и защиты инфраструктуры. Однако он предупреждает, что ИИ может находить принципиально новые уязвимости даже на аппаратном уровне, делая устаревшими привычные модели угроз.
00:08:54 - Sandboxing (Изоляция сверхразумных моделей)
Обсуждается фундаментальная проблема: можно ли надёжно изолировать ИИ, намного превосходящий человека по интеллекту. Сеня считает, что современные песочницы необходимо улучшать, но сомневается, что программные ограничения смогут бесконечно сдерживать систему, способную обнаруживать неизвестные людям закономерности и уязвимости. Он описывает три уровня защиты: изоляция, мониторинг поведения и внутренних активаций нейросети, а в перспективе - высокая уверенность в согласованности целей модели с человеческими интересами (alignment). Особенно важна его мысль: если система станет условно в миллион раз умнее лучших специалистов по безопасности, рассчитывать только на технический барьер будет опасно. Это гипотетический сценарий, а не утверждение о существовании такого ИИ.
00:15:47 - Math (Математические открытия ИИ)
Один из самых содержательных разделов. Сеня раскрывает экономику математических исследований OpenAI: эксперименты вокруг доказательства по уравнениям Навье-Стокса обошлись, по его приблизительной оценке, в $10 млн или немного больше, а общие расходы на математические исследования такого типа достигали сотен миллионов долларов. Он считает, что через год аналогичную задачу можно будет решать в 100 раз дешевле благодаря оптимизации многоагентных систем. OpenAI уже опубликовала сотни математических результатов, но, по словам Сеняа, внутри компании их значительно больше. Он описывает внутреннюю модель, которая за выходные справлялась с задачами, над которыми учёные работали годами. Это вызвало у него одновременно восторг и печаль: математические открытия могут перестать быть уникальным человеческим достижением. OpenAI действительно опубликовала заявленное решение задачи Навье-Стокса с формализацией Lean, однако само заявление компании не следует путать с независимым признанием результата математическим сообществом.
00:23:12 - Agent swarms (Рои ИИ-агентов)
Сеня выступает против сценария, в котором появляется один сверхразумный ИИ, контролирующий всё. Он предпочёл бы триллион отдельных ИИ немного умнее человека одному ИИ с условным IQ в триллион. По его мнению, многоагентные системы могут воспроизводить полезные свойства человеческого общества: разнообразие мнений, сотрудничество, конкуренцию и взаимный контроль. Это потенциально повышает устойчивость и безопасность всей системы. При этом Сеня признаёт, что такой результат не возникнет автоматически - архитектуру необходимо сознательно развивать в этом направлении. Цифра «триллион» здесь иллюстрирует философскую позицию, а не конкретный план запуска агентов.
00:25:17 - Compute (Вычислительные мощности)
Сеня признаёт серьёзный дефицит вычислительных ресурсов и компонентов. OpenAI разрабатывает собственный ИИ-чип, учится строить дата-центры и ведёт робототехническую программу, которая в перспективе должна помочь автоматизировать производство компонентов и строительство вычислительной инфраструктуры. Он даже рассматривает возможность своеобразного самовоспроизводства дата-центров с помощью ИИ и роботов. Отдельно обсуждается рынок DRAM: производители памяти опасаются расширять производство после многолетних циклов перепроизводства и убытков. Именно здесь звучит спорный тезис о локальном ИИ: Сеня считает неэффективным держать дефицитную DRAM в персональных компьютерах, где, по его оценке, она используется лишь 5% времени. Он предпочитает облачную инфраструктуру с высокой загрузкой. Доказательств универсальности оценки в 5% в интервью нет. Также Сеня говорит, что ИИ уже способен искать улучшения вычислительной эффективности порядка 5%, но пока не умеет автономно изобретать архитектуры масштаба Transformer.
00:37:53 - Revenue per gigawatt (Экономика дата-центров и персональные агенты)
Сеня рассчитывает на существенное удешевление вычислений. В качестве ориентировочной оценки он называет $70 млрд за 1 ГВт ИИ-инфраструктуры с учётом строительства и пяти лет эксплуатации и считает желательным снижение этой суммы до $20 млрд. Это не подтверждённая средняя рыночная цена, а условный ориентир в разговоре. Одновременно он ожидает дальнейшего роста эффективности моделей. Затем беседа переходит к персональным ИИ-агентам: по мнению Сеняа, их настоящий массовый прорыв ещё впереди. Победит агент, который надёжно выполняет сложные поручения, помнит контекст и работает с чужими приложениями. Сайты, мобильные приложения и веб-формы могут потерять роль главного интерфейса: пользователь будет обращаться к своему агенту, а тот самостоятельно взаимодействовать с сервисами. Обсуждают также опасность чрезмерной оптимизации под бенчмарки: ИИ должен не только хорошо проходить тесты, но и быть полезным и удобным в работе.
00:49:27 - Token pricing is fake (Условность токенов как единицы оплаты)
Сеня признаёт, что токены - неудобная единица измерения экономической ценности ИИ. Они отражают объём обработки текста, но не качество результата, сложность задачи или пользу для клиента. OpenAI даже рассматривала отказ от тарификации по токенам: пользователь отправлял бы задание и получал готовую цену его выполнения. Однако потенциальные клиенты отреагировали отрицательно, поскольку хотят прозрачную и сопоставимую единицу измерения расходов. Сеня сравнивает ситуацию с нанометрами в полупроводниковой индустрии, которые давно стали в значительной степени условными обозначениями технологических поколений. Он считает, что пользователю не должно приходиться выбирать между дешёвыми и дорогими токенами, вычислять длину рассуждений модели и разбираться в технических деталях ради решения обычной задачи. При этом токены существуют как реальная техническая единица, просто плохо подходят для оценки конечного результата.
Полный транскрипт (основной источник):
https://cheekypint.transistor.fm/39/transcript
@cgevent