Чтобы отвечать на сложные вопросы, нейросеть сначала учится самому простому — продолжать…

ТЕХНО: Яндекс про технологииПодтверждён, @techno_yandex

Открыть в Telegram
#5697Фото

Чтобы отвечать на сложные вопросы, нейросеть сначала учится самому простому — продолжать текст. Рассказываем, как это работает. В основе LLM — миллиарды числовых параметров, или весов. Они определяют, как нейросеть преобразует входные данные (ваш запрос) в результат. При обучении алгоритм сравнивает результат с ожидаемым и постепенно корректирует веса. Оно происходит в два этапа. Предобучение: освоить язык и набрать знания На предобучении модель учится предсказывать следующий токен — слово или его часть. Она видит «Столица России — …», угадывает продолжение, а обучающая среда сравнивает его с правильным. На триллионах таких примеров модель осваивает язык, получает знания и развивает более сложные навыки — в математике, программировании и агентных сценариях. Это самый долгий и дорогой этап, в результате которого получается базовая модель. Она уже может продолжать текст и иногда отвечать на вопросы, но не всегда понимает запрос как инструкцию. Этому её учат дальше. Постобучение: научиться выполнять инструкции Сначала модели показывают пары из запросов и хороших ответов. Затем она генерирует несколько вариантов, AI-тренеры или специальные модели сравнивают их, а алгоритм постепенно корректирует веса так, чтобы ответы становились ближе к эталонным. Так модель учится быть полезной: решать задачи, пересказывать тексты, извлекать данные, писать код и так далее. Зачем нужна промежуточная модель, которую ещё предстоит дообучать? Это универсальная основа: компании адаптируют её под свои задачи или выкладывают в опенсорс, чтобы это могли сделать и другие. Так Яндекс поступил с Alice AI Foundation LLM: полностью обучил её с нуля и опубликовал под свободной лицензией. Для Яндекса это экспериментальная основа будущей единой рассуждающей модели для Алисы AI, которая ляжет в основу агентных возможностей Алисы AI. Благодаря ей пользователи смогут поручать ей выполнение конкретных действий. Другие разработчики могут уже сейчас использовать модель в исследовательских и коммерческих проектах. Вместе с моделью Яндекс открыл тесты на фактические знания на русском: по ним можно воспроизводить сравнения разных моделей. Подробнее об обучении Alice AI Foundation LLM разработчики Яндекса рассказали на Хабре. Подписывайтесь 👉 @techno_yandex

Открыть в Telegram
Просмотры7 389−8%к среднему
Пересылки34
Реакции56
Комментарии6

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
49 ч7 204
66 ч7 389
  1. Всего сейчас7 389

Кто поделился

Реакции

  • ❤25
  • 👍16
  • 🤔5
  • 🔥3
  • 👎2
  • 😁2
  • 😐1
  • 🤯1
  • 🥱1

Ещё посты канала ТЕХНО: Яндекс про технологии

  1. 01
    Просмотры26,5 тыс.
    Пересылки50
    Реакции23
    Комментарии10
  2. 02

    Как Яндекс гонял таборы серверов Сегодня — день рождения Яндекса, нам исполняется 29 лет! Мы по такому случаю решили вспомнить и рассказать историю одного из самых сложных переездов в истории компании. В 2001 году Яндекс переселился в новый офис в вычислительном центре Академии наук на улице Вавилова в Москве. В том числе туда нужно было переместить и серверы поисковика, которые до этого три года стояли у провайдера «МТУ-Информ». Эта эпопея, как перевозку позже назовут в пресс-релизе, оказалась непростой. Вот как её в 2001-м описывал руководитель разработки портала Яндекса Дмитрий Завалишин: Задачка — перевезти Яндекс со Смоленки на Ленинский, не выключая сервиса. И желательно так, чтобы клиенты не заметили. План операции готовился более месяца. Для переезда выбрали субботу 19 февраля, когда нагрузка на поисковик была сниженной из-за выходных. Серверов было много, поэтому запросы пользователей можно было перераспределять с одного на другой. Это и было основой операции. Интересно было видеть, как по мере выключения серверов остальные начинали получать всё больше запросов. В пике они сверкали лампочками своих винчестеров почти непрерывно. Пока одни серверы работали и тянули поиск без перебоев, другие катились по Москве в фургоне сооснователя Яндекса Ильи Сегаловича. По прибытии на Вавилова их сразу подключали к сети и перенаправляли нагрузку на них. Тем временем на Смоленке уже грузили следующую партию. Вот такой короткий отпуск у компьютеров Яндекса — два часа в три года... Ну или по болезни. Тоже бывает. Перевозить этот табор было куда сложнее, чем писать об этом, но в итоге всё позади. Сейчас у Яндекса гораздо больше серверов — чтобы перевезти их тем же методом, понадобилось бы более пяти тысяч фургонов Сегаловича. Но подход к организации сохранился: в компании всегда есть запасные дата-центры, чтобы сервисы не прекращали работу, если часть серверов отключается на обслуживание или из-за неполадки. Подписывайтесь 👉 @techno_yandex

    Фото
    Просмотры20 тыс.
    Пересылки119
    Реакции104
    Комментарии6
  3. 03
    Просмотры8,62 тыс.
    Пересылки46
    Реакции68
    Комментарии3
  4. 04

    Коллеги, посмотрите, я сделал Если после такого сообщения в чате появляется полотно генеративного текста — в вас кинули слоп-гранату. Так называют необработанную выдачу нейросети, которую кто-то выдаёт за реальный труд и которую передают дальше по рабочей цепочке. При этом разбираться в достоверности или полезности этого ответа приходится другим. Год назад появился похожий термин «воркслоп» — так назвали низкокачественный генеративный контент, который выдают за выполненную работу. По опросу на тот момент с воркслопом сталкивался 41% опрошенных. Глава платформы для интернет-магазинов Shopify Тобиас Лютке сказал, что из-за слоп-гранат работы становится больше у всех. Как раз потому, что одним приходится читать стену текста, другим — перепроверять данные, а третьим — исправлять ошибки, которые никто не заметил. Вам встречаются слоп-гранаты на работе? Как вы с этим боретесь? Подписывайтесь 👉 @techno_yandex

    Фото
    Просмотры8,59 тыс.
    Пересылки49
    Реакции72
    Комментарии5
  5. 05
    Просмотры7,91 тыс.
    Пересылки22
    Реакции79
    Комментарии5

Все посты канала ТЕХНО: Яндекс про технологии