Ян ЛеКун оказался прав, но в этой индустрии никто не хочет говорить об этом вслух.
Модель со 109 млн параметров превзошла модель с 72 млрд.
Уже несколько лет ЛеКун утверждает, что масштаб модели сам по себе не заставляет её понимать окружающий мир. Meta сделала ставку на противоположный подход. В ноябре он покинул компанию и основал собственную лабораторию в Париже.
В прошлый четверг он опубликовал доказательства своей теории.
С 2024 года индустрия придерживается идеи, согласно которой достаточно обучать всё более крупные модели на текстах, изображениях и звуках, чтобы в итоге они сформировали одинаковое внутреннее представление об окружающем мире. Считалось, что всё решает масштаб. Но эту гипотезу никто так и не доказал.
Рэндалл Балестриеро и Ян ЛеКун проверили её. И результаты показали, что дело вовсе не в размере модели.
Решающую роль играет то, какие именно данные модель получает вместе друг с другом.
Фотография и её описание представляют собой два разных способа передачи информации об одном объекте. Модели, обученные на таких парах, достигают нужного результата значительно быстрее.
А вот два абзаца из одного документа не являются двумя представлениями одного и того же объекта. Модели, обученные на таких данных, достигают аналогичного результата гораздо медленнее и требуют значительно больше вычислительных ресурсов.
Именно ко второму типу относится предсказание следующего токена. На этом принципе работают практически все современные чат-боты.
В ходе экспериментов первый метод позволил достичь аналогичного уровня понимания всего на 21,6 млн примеров. Для обучения с предсказанием следующего токена потребовалось 900 млн.
Более того, текстовая модель со 109 млн параметров сформировала представление об окружающем мире, которое оказалось ближе к представлению модели, обученной на изображениях, чем у языковой модели с 72 млрд параметров.
В 660 раз меньше параметров.
https://www.alphaxiv.org/pdf/2610.39302
