Data Portal | DS & ML

«Распознавание образов и машинное обучение» (Pattern Recognition and Machine Learning) — бесплатный курс из 18 лекций, посвящённых математическим и вычислительным основам машинного обучения. Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы. Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели. Все 18 лекций доступны бесплатно. https://chizhizhang.github.io/lecture/2026PRML/

Интересное исследование управляемости цепочек рассуждений (CoT). Авторы выяснили, что эффективность мониторинга цепочек рассуждений отчасти зависит от неспособности моделей полностью контролировать содержание собственных рассуждений. Значительную часть этого ограничения удалось связать с первыми несколькими токенами после открывающего тега thinking. В этот момент энтропия резко падает, и модель начинает рассуждения с одного из нескольких типичных вариантов. Небольшие изменения на этом этапе позволяют значительно повысить управляемость. Даже предварительная подстановка одного токена существенно улучшила результаты. А запрет часто встречающихся начальных токенов в сочетании с добавлением примеров в контекст повысил средний уровень соблюдения инструкций на 34–41 процентный пункт среди различных моделей. При этом такие методы преимущественно восстанавливают контроль над добавлением информации и изменением стиля её изложения. Управлять исключением информации из рассуждений оказалось сложнее: результаты были менее стабильными. По всей видимости, речь идёт о двух разных способностях. У разных моделей показатели внутри каждой группы коррелируют между собой, тогда как между группами наблюдается преимущественно отрицательная корреляция. https://arxiv.org/abs/2610.40939

Наконец-то появилась новая мощная модель с открытыми весами для научных исследований. Как я уже говорил, ничто не сравнится со специализированными моделями. И мне кажется, что именно в науке их значение будет особенно велико. Hydrogen-1.0 стала первой моделью с открытыми весами для научных исследований от компании Deep Principle. Разработчики взяли GLM-5.3 и провели дополнительное обучение на собственных научных данных, лабораторных записях и последовательностях исследовательских шагов, приводивших к открытиям. По заявленным результатам, Hydrogen-1.0 набрала 38,3% в бенчмарке FrontierScience-Research, превзойдя GPT-6 Astra с результатом 33,3%. Таких моделей нам нужно гораздо больше. https://blog.deepprinciple.com/introducing-hydrogen-1.0/ https://huggingface.co/deep-principle/Hydrogen-1.0

Хотите бесплатно и без ограничений пользоваться Fable 5.5 на протяжении нескольких месяцев? Достаточно попасть в Anthropic Residency. Это оплачиваемая программа продолжительностью от шести недель до шести месяцев, предназначенная для профессоров, технических основателей стартапов и инженеров уровня Staff, желающих заняться исследованиями безопасности ИИ. При этом опыт работы с машинным обучением и учёная степень PhD не требуются. Участники программы получают доступ к передовым моделям, отдельный бюджет вычислительных ресурсов и наставника из Anthropic. Кроме того, им выплачивают вознаграждение, соответствующее годовой зарплате от 350 до 500 тысяч долларов. https://alignment.anthropic.com/2026/anthropic-residency/

Без текста

Без текста

GPT-6 Astra научилась напрямую изменять веса нейросетей, улучшая их работу без дополнительного обучения. В одном из экспериментов модель исправила поведение ИИ, управляющего автомобилем, который постоянно застревал на подъёме. Изменив всего 3,5% весов нейросети, Astra добилась 100% успешных прохождений. В другом эксперименте Astra самостоятельно создала веса нейросети для игры Breakout. Без обучения и использования инструментов она набрала в 20 раз больше очков, чем модель PPO, обучавшаяся на протяжении 500 миллионов шагов. Но самым интересным оказался эксперимент с Qwen3.5-0.8B. Astra обнаружила, что модель зацикливается во время рассуждений, и устранила проблему, изменив всего 0,016% её весов. В результате качество решения математических задач выросло до 6 раз, а следование инструкциям улучшилось в 3 раза. При этом Astra не использовала градиенты и не проводила дополнительного обучения. Исследователи назвали этот подход Weight-Space Programming. По их мнению, в будущем языковые модели смогут самостоятельно анализировать, изменять и оптимизировать веса других нейросетей. https://rikiyat.github.io/blog/weight-space-programming/

Настоятельно рекомендую к прочтению. Это настоящий мастер-класс по созданию современной инфраструктуры для AI-агентов и построению более автономных агентных систем. Это лучшая статья из всех, что я читал о работе с командами агентов на базе собственной инфраструктуры. Главная идея проста: архитектура должна позволять агенту работать непрерывно и эффективно переключаться между задачами. Для этого необходима архитектура, разделяющая координацию и выполнение задач. Теперь это стало возможным благодаря тому, что LLM-агенты научились лучше координировать свои действия и сохранять контекст между задачами. Когда базовая архитектура готова, можно переходить к более продвинутым возможностям: запуску задач по событиям, упреждающим действиям и новым способам взаимодействия с агентами, например через асинхронный ReAct Loop. Масштабировать такую систему помогают управление состоянием и изолированные среды выполнения. Важно разделять состояние, вычислительные ресурсы и окружение. При этом система должна сохранять своё состояние и оставаться доступной с разных устройств. Кстати, всё это можно реализовать и на базе других существующих harness-систем. Использовать DeepSeek Harness совершенно необязательно. По мере развития возможностей агентов нужно искать новые способы взаимодействия с ними, не мешая им самостоятельно выполнять работу.

Ян ЛеКун оказался прав, но в этой индустрии никто не хочет говорить об этом вслух. Модель со 109 млн параметров превзошла модель с 72 млрд. Уже несколько лет ЛеКун утверждает, что масштаб модели сам по себе не заставляет её понимать окружающий мир. Meta сделала ставку на противоположный подход. В ноябре он покинул компанию и основал собственную лабораторию в Париже. В прошлый четверг он опубликовал доказательства своей теории. С 2024 года индустрия придерживается идеи, согласно которой достаточно обучать всё более крупные модели на текстах, изображениях и звуках, чтобы в итоге они сформировали одинаковое внутреннее представление об окружающем мире. Считалось, что всё решает масштаб. Но эту гипотезу никто так и не доказал. Рэндалл Балестриеро и Ян ЛеКун проверили её. И результаты показали, что дело вовсе не в размере модели. Решающую роль играет то, какие именно данные модель получает вместе друг с другом. Фотография и её описание представляют собой два разных способа передачи информации об одном объекте. Модели, обученные на таких парах, достигают нужного результата значительно быстрее. А вот два абзаца из одного документа не являются двумя представлениями одного и того же объекта. Модели, обученные на таких данных, достигают аналогичного результата гораздо медленнее и требуют значительно больше вычислительных ресурсов. Именно ко второму типу относится предсказание следующего токена. На этом принципе работают практически все современные чат-боты. В ходе экспериментов первый метод позволил достичь аналогичного уровня понимания всего на 21,6 млн примеров. Для обучения с предсказанием следующего токена потребовалось 900 млн. Более того, текстовая модель со 109 млн параметров сформировала представление об окружающем мире, которое оказалось ближе к представлению модели, обученной на изображениях, чем у языковой модели с 72 млрд параметров. В 660 раз меньше параметров. https://www.alphaxiv.org/pdf/2610.39302

Оксфордский университет открыл бесплатный курс «Теории глубокого обучения» на 2026–2027 учебный год. Курс посвящён математическим основам глубоких нейронных сетей и включает 16 лекций, находящихся в свободном доступе. Программа охватывает архитектуры нейросетей, нелинейные преобразования, свёрточные структуры, пулинг, методы оптимизации, обучение словарей, переносимость изученных признаков, состязательные примеры, теорию случайных матриц, обучение инвариантности и другие темы. В лекциях рассматриваются математические теории, позволяющие понять, как обучаются глубокие нейронные сети и чем объясняются особенности их работы. На мой взгляд, это особенно ценный материал для тех, кто хочет разобраться в математике, лежащей в основе современных ИИ-систем. https://courses.maths.ox.ac.uk/course/view.php?id=6621