Европейский AI Office предложил критерии для независимых оценщиков передовых моделей ИИ
В конце октября Европейский AI Office опубликовал отчёт по итогам семинара 15 июля. В нём участвовали 19 организаций, в числе которых аналитические центры и потенциальные оценщики (Apollo Research, RAND, SecureBio, Epoch AI, Irregular, Deloitte, Future of Life Institute и др.).
Сам Регламент ЕС по ИИ требований о внешних оценках напрямую не устанавливает: ст. 55(1) обязывает поставщиков оценивать модели и снижать системные риски, а о внешнем тестировании Регламент говорит лишь как о возможном способе. Обязательство привлекать внешних оценщиков, с исключениями, содержится в Кодексе практик для ИИ общего назначения (меры 3.2 и 3.5, приложение 3.5), который добровольно согласились соблюдать многие ведущие разработчики, кроме китайских.
Механизма аккредитации, реестра оценщиков и регулярных проверок нет: оценщика выбирает сам поставщик, а AI Office при необходимости проверяет, отвечает ли он критериям, например когда оценивает, соблюдает ли поставщик Регламент. Критерии AI Office по большей части опубликовал, а конкретные шкалы и баллы не раскрывает, чтобы избежать манипуляций.
Критерии квалификации
1. Предметная экспертиза по системному риску
По публикациям оценщика смотрят, умеет ли он описать, как возможности модели приводят к реальному вреду, и привязать уровни риска к результатам тестов. Учитываются также опубликованный протокол определения приемлемости риска, предложения по его снижению, несколько лет опыта в профильной области и то, пользуются ли тестами или методами оценщика ведущие поставщики в отчётах о моделях.
2. Опыт проведения оценок
Нужен опыт проведения хотя бы части таких работ: состязательное тестирование, эксперименты, где измеряют, насколько модель помогает людям в опасных задачах, проверка воспроизводимости и того, не знает ли модель тестовые задания заранее. Отдельно учитывают умение раскрыть реальные возможности модели, например заметить, что она нарочно занижает результаты.
Критерии независимости
Финансовые требования построены по образцу требований к аудиторам в ЕС. У оценщика и членов команды не должно быть долей в компаниях группы поставщика, разве что через широко диверсифицированные фонды. Оплата не может зависеть от результатов, а платные услуги поставщику по налогам, оценке стоимости, кадрам и ИС запрещены. Оценщик не может принадлежать поставщику или быть его дочерней компанией, а члены команды – работать у него или консультировать его лично. Нужна и политика конфликта интересов.
Выводы поставщик не контролирует, наказывать оценщика за тестирование и публикацию не вправе, а задержать публикацию может, как правило, не более чем на 30 рабочих дней (мера 3.5).
Как AI Office собирается применять критерии
Баллы ставятся отдельно по каждой области системного риска и не складываются. Чем способнее модель, тем выше ожидаемый балл оценщика, хотя для менее способных допустим балл чуть ниже, особенно если оценщики с высокими баллами недоступны. Свой балл оценщик по умолчанию не узнаёт, но может запросить разъяснения. У организации без послужного списка учитывают опыт её специалистов. Опыт оценки открытых моделей засчитывается наравне с закрытыми.
Договор с оценщиком и стандарт AEF-1
По мнению AI Office, независимость оценщика следует закрепить в договоре с поставщиком, включив в него как минимум все требования и рекомендации двух разделов стандарта AEF-1. Этот добровольный стандарт в 2025 году выпустил AI Evaluator Forum, куда входят METR, RAND, SecureBio, Transluce и другие. Он задаёт минимальные условия, при которых стороннюю оценку можно считать независимой: достаточный доступ к модели и ресурсам, минимум конфликтов интересов, аналитическую самостоятельность, прозрачность методов и результатов, защиту конфиденциальной информации.
Впрочем, в исследовательских кругах давно спорят, насколько независимы сами оценщики: даже METR, который денег у лабораторий не берёт, признаёт, что получает от них «значительный объём бесплатных токенов» 🤢.