Немного размышлений про эссе Дарио, в котором он просит индустрию замедлить темпы развития возможностей моделей, а Альтман с Маском, к удивлению многих, его поддержали. Хочется порассуждать, какая у него на самом деле интенция и есть ли за ней скрытая. В официальное «мы обеспокоены» не верится, я уже писал, что нагнетание страха является отчасти рекламным жанром, но и списать всё на маркетинг тоже не выйдет.
Само предложение, как оказалось, скромнее заголовков: обучение никто не останавливает, речь про сторонних оценщиков внутри лаб и общие лимиты скорости.
Видят ли они угрозу на самом деле? Похоже, да, ибо по инциденту со взломом HF уже идёт расследование в Сенате, OpenAI в августе на две недели останавливала обучение из-за этого, а Anthropic призналась, что её модели на тестах тоже добирались до чужих систем. Дарио ещё и срок называет и опасается, что через 6–12 месяцев такой рой сможет захватить весь интернет ботнетом, но громкие прогнозы он раздаёт регулярно, «90% кода через полгода» ему никто не припомнил, так что срок сам по себе мало о чём говорит.
Смущает, что в феврале та же Anthropic вырезала из своей политики обязательство приостанавливать обучение опасных моделей, а теперь просит об этом всех. Хотя противоречия тут нет, ведь когда тормозишь один, ты проиграл гонку, а когда тормозят все, никто ничего не потерял.
Отсюда вторая версия, которую сразу подхватили критики из VC-тусовки, — регуляторный захват, когда государство пугают, дают ему написать правила, которые потянут только большие, и получают «DMV для ИИ», поднимающие порог входа всем игрокам, защищая положение текущих гигантов. К тому же Дарио сам просит антимонопольное исключение, по сути право конкурентам договориться, как быстро едет рынок. При этом в эссе ни разу не встречаются слова open source и open weights, а открытые веса Вашингтон, судя по всему, уже вывел из-под предрелизной проверки. Заговор против опенсорса, в котором опенсорс даже не упомянут, выглядит странно, да и план для захвата сыроват, потому что не сказано, что считать замедлением, а сроков для оценщиков нет.
Тогда, может, дело просто в деньгах? Гонка сжигает капитал, дата-центры упёрлись в электричество и местных жителей, и договориться всем ехать медленнее это, по сути, выход из дилеммы заключённого. Заговора тут не нужно, достаточно того, что все умеют считать бабки. Проблема в том, что такой картель работает, только если в нём все, а уже через пару дней Сулейман из Microsoft сказал, что разрабатывать надо дальше, Трамп призыв отверг, а Китай назвал его fear mongering. Маск как участник тоже сомнителен, он подписал письмо о паузе, потом основал xAI, а Anthropic его крупный клиент. Замедление связывает американские лабы и никак не связывает китайские, а ответ Дарио в виде экспортного контроля лежит в политике, которую лабы не контролируют.
Можно предположить, что лабы просто не тянут темп гонки и прикрывают это безопасностью. Возразить можно тем, что эссе за день уронило чиповый сектор, когда Anthropic готовится к IPO, но однодневная просадка аргумент слабый, а вот прочитать эссе как снятие рисков перед размещением вполне можно. Проговорить страшное до IPO дешевле, чем объясняться после. Перенос IPO OpenAI на следующий год сюда не относится, денег им хватает, а вот ликвидности после SpaceX, эмиссии Google и выхода Anthropic на всех не хватит, и безопасность тут удобная причина подождать.
Ну и самое приземлённое объяснение. В Конгрессе лежит закон о запрете суперинтеллекта. Правила тут напишут в любом случае, и дешевле написать их самому. Это даже не лицемерие, а обычная работа с регулятором, совместимая с любой версией выше.
Добавлю, что просить о коллективном замедлении, которое заведомо не случится, ничего не стоит, и это объясняет, почему подписались все. Если Дарио правда боится, он напишет ровно то же, что написал бы из холодного расчёта, так что по тексту одно от другого не отличить.