Почти в любом сервисе с персональной лентой рекомендации подбирает цепочка из большого…

ТЕХНО: Яндекс про технологииПодтверждён, @techno_yandex

Открыть в Telegram
#5739Фотоизменён

Почти в любом сервисе с персональной лентой рекомендации подбирает цепочка из большого количества моделей. В Яндексе проверили, может ли всю цепочку заменить одна нейросеть. В умных колонках с Алисой, например, музыку подбирает каскад из десятков алгоритмов: одни отбирают из миллионов треков подходящие, другие отсеивают лишнее и выбирают лучшее. Каждый из них обучают отдельно, а признаки, по которым они оценивают треки, инженеры подбирают вручную. Новая модель Sona делает всё это одна. Она устроена как языковая модель, только вместо следующего слова угадывает следующий трек. Для этого у каждой песни есть код из трёх токенов: его составляет другая нейросеть по первым 90 секундам звучания, названию и тегам. Вместо признаков Sona получает сырую историю — до 8192 последних действий человека, например что он слушал, пропускал, лайкал и дизлайкал. Закономерности в этих данных модель находит сама и постоянно дообучается: пропущенный трек попадает в её обучение примерно через 45 минут. Инженеры проверили, справится ли Sona вместо всей прежней цепочки: неделю она подбирала музыку части слушателей умных колонок с Алисой. Время прослушивания рекомендованных треков выросло на 6,3%, а просьб повторить трек стало почти на 18% больше. Единые рекомендательные модели сейчас строят крупные технологические компании. Китайская Kuaishou, владелец одной из самых популярных видеоплатформ страны, заменила цепочку одной моделью, но оставила ручные признаки. Pinterest объединил только часть этапов. Яндекс первым в мире разработал и протестировал систему с одной нейросетью вместо всей цепочки, самостоятельным подбором критериев и ростом качества в реальных условиях. Поскольку эксперимент оказался успешным, Яндекс планирует развивать этот подход к созданию рекомендательных систем. Подписывайтесь 👉 @techno_yandex

Открыть в Telegram
Просмотры10 352+62%к среднему
Пересылки27
Реакции51
Комментарии2

Кто поделился

Реакции

  • ❤24
  • 👍13
  • Кастомный эмодзи6
  • 🔥3
  • 😁2
  • 👎1
  • 🤯1
  • Кастомный эмодзи1

Ещё посты канала ТЕХНО: Яндекс про технологии

  1. 01
    Просмотры26,5 тыс.
    Пересылки50
    Реакции23
    Комментарии10
  2. 02

    Как Яндекс гонял таборы серверов Сегодня — день рождения Яндекса, нам исполняется 29 лет! Мы по такому случаю решили вспомнить и рассказать историю одного из самых сложных переездов в истории компании. В 2001 году Яндекс переселился в новый офис в вычислительном центре Академии наук на улице Вавилова в Москве. В том числе туда нужно было переместить и серверы поисковика, которые до этого три года стояли у провайдера «МТУ-Информ». Эта эпопея, как перевозку позже назовут в пресс-релизе, оказалась непростой. Вот как её в 2001-м описывал руководитель разработки портала Яндекса Дмитрий Завалишин: Задачка — перевезти Яндекс со Смоленки на Ленинский, не выключая сервиса. И желательно так, чтобы клиенты не заметили. План операции готовился более месяца. Для переезда выбрали субботу 19 февраля, когда нагрузка на поисковик была сниженной из-за выходных. Серверов было много, поэтому запросы пользователей можно было перераспределять с одного на другой. Это и было основой операции. Интересно было видеть, как по мере выключения серверов остальные начинали получать всё больше запросов. В пике они сверкали лампочками своих винчестеров почти непрерывно. Пока одни серверы работали и тянули поиск без перебоев, другие катились по Москве в фургоне сооснователя Яндекса Ильи Сегаловича. По прибытии на Вавилова их сразу подключали к сети и перенаправляли нагрузку на них. Тем временем на Смоленке уже грузили следующую партию. Вот такой короткий отпуск у компьютеров Яндекса — два часа в три года... Ну или по болезни. Тоже бывает. Перевозить этот табор было куда сложнее, чем писать об этом, но в итоге всё позади. Сейчас у Яндекса гораздо больше серверов — чтобы перевезти их тем же методом, понадобилось бы более пяти тысяч фургонов Сегаловича. Но подход к организации сохранился: в компании всегда есть запасные дата-центры, чтобы сервисы не прекращали работу, если часть серверов отключается на обслуживание или из-за неполадки. Подписывайтесь 👉 @techno_yandex

    Фото
    Просмотры20 тыс.
    Пересылки119
    Реакции104
    Комментарии6
  3. 03
    Просмотры8,83 тыс.
    Пересылки53
    Реакции21
    Комментарии6
  4. 04
    Просмотры8,62 тыс.
    Пересылки46
    Реакции68
    Комментарии3
  5. 05

    Коллеги, посмотрите, я сделал Если после такого сообщения в чате появляется полотно генеративного текста — в вас кинули слоп-гранату. Так называют необработанную выдачу нейросети, которую кто-то выдаёт за реальный труд и которую передают дальше по рабочей цепочке. При этом разбираться в достоверности или полезности этого ответа приходится другим. Год назад появился похожий термин «воркслоп» — так назвали низкокачественный генеративный контент, который выдают за выполненную работу. По опросу на тот момент с воркслопом сталкивался 41% опрошенных. Глава платформы для интернет-магазинов Shopify Тобиас Лютке сказал, что из-за слоп-гранат работы становится больше у всех. Как раз потому, что одним приходится читать стену текста, другим — перепроверять данные, а третьим — исправлять ошибки, которые никто не заметил. Вам встречаются слоп-гранаты на работе? Как вы с этим боретесь? Подписывайтесь 👉 @techno_yandex

    Фото
    Просмотры8,59 тыс.
    Пересылки49
    Реакции72
    Комментарии5

Все посты канала ТЕХНО: Яндекс про технологии