Чтобы отвечать на сложные вопросы, нейросеть сначала учится самому простому — продолжать текст. Рассказываем, как это работает. В основе LLM — миллиарды числовых параметров, или весов. Они определяют, как нейросеть преобразует входные данные (ваш запрос) в результат. При обучении алгоритм сравнивает результат с ожидаемым и постепенно корректирует веса. Оно происходит в два этапа. Предобучение: освоить язык и набрать знания На предобучении модель учится предсказывать следующий токен — слово или его часть. Она видит «Столица России — …», угадывает продолжение, а обучающая среда сравнивает его с правильным. На триллионах таких примеров модель осваивает язык, получает знания и развивает более сложные навыки — в математике, программировании и агентных сценариях. Это самый долгий и дорогой этап, в результате которого получается базовая модель. Она уже может продолжать текст и иногда отвечать на вопросы, но не всегда понимает запрос как инструкцию. Этому её учат дальше. Постобучение: научиться выполнять инструкции Сначала модели показывают пары из запросов и хороших ответов. Затем она генерирует несколько вариантов, AI-тренеры или специальные модели сравнивают их, а алгоритм постепенно корректирует веса так, чтобы ответы становились ближе к эталонным. Так модель учится быть полезной: решать задачи, пересказывать тексты, извлекать данные, писать код и так далее. Зачем нужна промежуточная модель, которую ещё предстоит дообучать? Это универсальная основа: компании адаптируют её под свои задачи или выкладывают в опенсорс, чтобы это могли сделать и другие. Так Яндекс поступил с Alice AI Foundation LLM: полностью обучил её с нуля и опубликовал под свободной лицензией. Для Яндекса это экспериментальная основа будущей единой рассуждающей модели для Алисы AI, которая ляжет в основу агентных возможностей Алисы AI. Благодаря ей пользователи смогут поручать ей выполнение конкретных действий. Другие разработчики могут уже сейчас использовать модель в исследовательских и коммерческих проектах. Вместе с моделью Яндекс открыл тесты на фактические знания на русском: по ним можно воспроизводить сравнения разных моделей. Подробнее об обучении Alice AI Foundation LLM разработчики Яндекса рассказали на Хабре. Подписывайтесь 👉 @techno_yandex
Открыть в Telegram
Чтобы отвечать на сложные вопросы, нейросеть сначала учится самому простому — продолжать…
Просмотры7 389−8%к среднему
Пересылки34
Реакции56
Комментарии6
Рост просмотров
Часов после публикации
Показать таблицей
| Часов после публикации | Просмотры |
|---|---|
| 0 ч | 0 |
| 49 ч | 7 204 |
| 66 ч | 7 389 |
- Всего сейчас7 389
Ещё посты канала ТЕХНО: Яндекс про технологии
- 01Просмотры26,5 тыс.Пересылки50Реакции23Комментарии10
- 02Просмотры20 тыс.Пересылки119Реакции104Комментарии6
- 03Просмотры8,62 тыс.Пересылки46Реакции68Комментарии3
- 04Просмотры8,59 тыс.Пересылки49Реакции72Комментарии5
- 05Просмотры7,91 тыс.Пересылки22Реакции79Комментарии5
