Можете присылать задачи на IOAI. А если вашу задачу отберут, потом сможете развлекаться тем, что смотреть, как я пытаюсь готовить сборную, придумывая разные задачи и гадая, что будет на олимпиаде А вы-то уже будете что-то знать! :)
Open in TelegramPosts of DLStories
Forwarded from tsymba❤️
🚀 IOAI 2027: Call for Tasks! 🇸🇬 Международная олимпиада по искусственному интеллекту (IOAI) ищет авторов задач для олимпиады 2027 года, которая пройдёт в Сингапуре! Приглашаем исследователей, ML-инженеров и всех, кому интересно придумывать нестандартные задачи по машинному обучению. 🧠 Что можно предложить? 🔹 Практические задачи — полноценные ML-задачи с датасетами, бейзлайнами и системой оценки. 🔹 Теоретические задачи и идеи — задачи на понимание фундаментальных принципов ML, в том числе без программирования. Авторы отобранных полноценных задач получат приглашение поучаствовать в IOAI 2027 в качестве членов жюри. 📅 Дедлайн подачи: 31 декабря 2026 года Обязательно посмотрите полезные материалы о том, как сделать крутую задачу: 📖 Гайд для авторов задач 📋 Силлабус IOAI 2027 Если у вас есть интересная идея задачи или вы знаете кого-то, кому это могло бы быть интересно — присоединяйтесь и делитесь❤️
Open in TelegramА в DLS, тем временем, скоро начнется Diffusion week — недельный интенсив по диффузионным моделям. Интенсив пройдет 29.10-6.11. Как обычно в DLS, полностью бесплатно. Вас ждет серия онлайн-лекций вокруг разных аспектов диффузионок — основы, актуальные направления исследований, диффузии для видео, world models, ускорение и interpretability. Лекции читают люди, которые сами работают в этих областях. А ещё будет контест! Задача — научить модель достаточно точно генерировать несколько различных объектов на одном изображении. Идея провести такой интенсив возникла у Нины, когда она делала для DLS занятие по диффузионкам. Материала, который хотелось рассказать, было слишком много, в одно занятие не помещалось. И Нина в итоге сделала целый интенсив: собрала для него спикеров, с коллегами придумала задачу для контеста. Если формат окажется классным, потом будем повторять и на другие темы Регистрация и подробная информация тут. Приходите! 😶
Open in TelegramЯ сижу в самолёте, чтобы лететь на EMNLP :) И уже завтра в постерную сессию в 10 утра презентую статью SV-Detect: AI-generated Text Detection with Steering Vectors. Она про детекцию AI-generated текстов с помощью стиринг векторов — направлений в пространстве активаций LLM, отвечающих за переход от реальных текстов к сгенерированным. Если вы на EMNLP, приходите завтра посмотреть на меня статью! Первый и главный автор этой статьи — выпускник DLS Михаил Вишняков. К сожалению, он поехать на конфу не смог, поэтому статью презентую я. Но что хочу сказать: если помните, я когда-то я писала, что в качестве проектов DLS давала несколько своих идей для рисерча вокруг стиринга и что после окончания проектов некоторые студенты DLS продолжали над ними работать. Так вот, статья SV-Detect — результат одного из таких проектов. Это первый раз, когда из проекта DLS получилась полноценная статья, которая прошла на конференцию, чему мы очень рады! 🥺 Ну и ещё раз поздравляю Михаила с принятой статей! На мой взгляд, результаты и сама статья получились очень хорошие
Open in TelegramС днём училки меня! Провожу его как полагается: доделываю семинар и домашку по ViT для DLS. Перед этим на прошлой неделе я, наконец, записала лекцию по ViT (хотелось бы сказать, что не прошло и года, но он прошел)), и мы, наконец-то, почти запустили третью часть курса (вот сейчас доделаю семинар и дз, и прям официально запустим) А я в честь праздника напоминаю, что все лекции и семинары DLS всегда лежат в открытом доступе на YouTube — можно смотреть и учиться в любой момент. Вот две части новой лекции по ViT: - Часть 1: устройство ViT, ViT vs CNN - Часть 2: архитектуры ViT, ViT+CNN, виды паттернов внимания А если хочется ещё делать домашки — приходите на наш курс на Степике (тоже открытый и бесплатный). Ссылка на курс — на нашем сайте. Ну и всех, кто что-то или кого-то учит, тоже поздравляю с днём училки)
Open in TelegramА ещё я только что получила письмо от одного из своих научников, которое начиналось вот так =D Со мной до этого подробного не происходило, я только мемы про это читала
Open in TelegramICLR submissions be like (Из твиттера) Одна из этих мусорок будет моей)) Сейчас причешу ещё чуть получше и повешу ленточку (читай: сделаю красивую картинку с методом), и гордо отправлю вниз по течению. Вообще, если честно, уже мало понимаю, есть ли смысл в AI конференциях, и можно ли всё ещё считать публикацию на А/А* знаком качества. Сабмитов — тонна, сделать хорошо выглядящую статью с AI агентами уже довольно просто, и при этом половину анализов и выводов в статье автор может просто не понимать (мне кажется, в одной из статей, которую я ревьюила на NeurIPS, так и было). Ревью процесс тоже оочень такой себе, и очень часто тоже делается агентами, что, мне кажется, делает его ещё более рандомным, чем это было раньше Немного обидно даже: только начало получаться делать рисерч и писать статьи, и теперь вот =/ При этом делать хороший качественный рисерч всё ещё можно, конечно. Но не уверена, что связка "принято на ICLR/ICML/... -> достаточно хорошее" всё ещё верна
Open in TelegramЯ начала использовать кодинговых агентов (вроде Codex/Claude Code) в марте 2026 года. Первые 3–4 месяца я применяла их в основном для запуска новых экспериментов на базе уже имевшегося у меня кода рисерч проектов, который я полностью написала сама или с соавторами. Это получалось довольно хорошо: агенты отлично справляются с масштабированием экспериментов, а проверять их работу в таких случаях довольно просто, и это в итоге сэкономило мне массу усилий. Но недавно я начала пробовать использовать Claude Code для новых проектов, попросив его написать много нового кода, используя внешние GitHub репо только как ориентиры, добавив сверху новой логики и датасетов. Агент весьма уверенно заявлял, что написал код и запустил эксперименты. Но когда я решила проверить этот код, то там обнаружились ряд проблем с методологией и выбором гиперпараметров, причем некоторые из них выявились только через некоторое время. Дальше я попросила Claude внимательно перепроверить код. Он действительно нашел несколько ошибок и согласился, что некоторые гиперпараметры были выбраны случайно — он не сумел/не захотел нормально проанализировать внешний GitHub репо и понять, какие гиперпараметры верные. Но один цикл такой проверки и исправления не решил всех проблем. Ради интереса я попросила Claude повторить проверку и исправление еще несколько раз, и в следующих нескольких циклах он находил новые баги, часть из которых влияла на постанову эксперимента, а часть вообще возникала из-за предыдущих исправлений. К чему это я: это явно не сюрприз, что агенты делают ошибки, а я, безусловно, не самый опытный пользователь подобных агентов, и мои конфиги и промпты далеки от идеала. Но беспокоит меня вот что: я вполне могу представить людей, которые используют агентов для запуска экспериментов и написания статей на основе полученных результатов. Но без нормального понимания методологии исследований и тщательной проверки кода такие эксперименты с высокой вероятностью будут содержать ошибки или даже окажутся некорректными. Понятно, что и до появления агентов не было гарантии, что все эксперименты, описанные в статьях, точно верны. Но теперь порог входа стал сильно ниже, и стало гораздо проще получить неверные результаты, даже не подозревая о наличии в них ошибок. Возможно, одним из способов решения этой проблемы могло бы быть обязательное требование прикладывать код проекта к сабмиту статьи. Мы могли бы сделать автоматическую проверку структуры экспериментов для тех статей, которые скорее всего будут приняты, и более внимательно ревьюить те работы, в которых эта проверка выявит что-то подозрительное.
Open in TelegramНа основной конференции ECCV я презентовала статью EquiSteer: Cross-Attention Steering Towards a Fairer Text-Guided Image Generation. Эта статья — в некотором смысле продолжение статьи CASteer, а точнее, практическое ее применение к задаче debiasing of diffusion models. Честно говоря, мне самой эта статья не очень нравится: она чисто эмпирическая, про практическое применение, а я уже стремлюсь делать более фундаментальный рисерч. Но делала я эту статью изначально еще в октябре 2025 года, когда не знала, примут ли две другие статьи на ICLR/ICML, а для хорошего диссера хотелось иметь несколько публикаций на A/A*. Я понимала, что идея EquiSteer с высокой вероятностью заработает и получится нормальная статья, поэтому решила таки ее сделать. Но в итоге две двугие статьи приняли, и теперь у меня аж 4 статьи на A/A* для диссера, что, в принципе, довольно приятно) Кроме этого, EquiSteer и CASteer также были на воркшопе LifeGenIIP. CASteer уже была давно принята на ICLR 2026, но этот воркшоп был non-archival и принимал любые статьи, которые куда-то приняли в течение года. CASteer еще и выбрали в качестве oral, а потом еще и выдали Best Paper Award runner-up (то есть, второе место). На фотке — я с этим сертификатом. На мой взгляд, это довольно странно — давать award и oral статье, которая уже была куда-то принята раньше, но на этом воркшопе было в принципе не очень много статей — наверное, причина в этом. Но все равно приятно, че) А еще в день моего постера EquiSteer прямо перед постерной сессией был keynote talk от ЛеКуна, но я на него не пошла. Я просто об этом забыла и вместо этого гуляла по Копенгагену) Но, судя по всему, ЛеКун рассказывал о своих стандартных темах — Le JEPA и что next-token prediction к реальному интеллекту не приведет, и если вы хотите сделать human-level AI, то вам точно не в LLM. Фотка с ЛеКуном стащена из linkedin
Open in TelegramЯ, Борис @boris_again и какой-то рандомный чел проф из Оксфорда. Вот так вот выглядит конфа ECCV, на которой все мы и встретились Завтра на конфе у меня будет постер по статье EquiSteer: Cross-Attention Steering Towards a Fairer Text-Guided Image Generation. Статья про debiasing диффузионок с помощью стиринг векторов. Если вы на ECCV, приходите завтра посмотреть на меня, мою статью и моего научника в постерную сессию ExHall #221 в 4:00 p.m.
Open in TelegramОткрыт набор на осенний семестр Deep Learning School DLS — онлайн-школа, где мы учим deep learning с нуля и до продвинутого уровня. Школа полностью бесплатная, но можно купить доппакет с менторской поддержкой и допвебинарами. Подробнее — на нашем сайте. Особенность DLS в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра, которые будет не стыдно показывать на собеседованиях. Больше информации об организации курса и программы обучения можно найти тут. С этого семестра у курса уже 4 части. Переходите по ссылкам ниже, чтобы зарегистрироваться: - Часть 1: основы DL и computer vision. Регистрация тут. - Часть 2: Natural Language Processing. Начинаем с эмбеддингов и RNN, заканчиваем LLM, GPT, их современными применениями, дистилляцией и interpretability. Регистрация тут. - Часть 3: foundation models, multi-modality. Тут будет про VLM, диффузии, разные виды задач и другие продвинутые темы. Регистрация тут. - Speech Processing. Отдельный курс про обработку аудио и аудио-модели. Регистрация тут. Ссылки: Наш сайт Тг-канал с новостями DLS Подробная программа и оргинформация обоих частей курса Ответы на часто задаваемые вопросы (F.A.Q) Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью) Наша группа VK 🥰 Поддержать нашу школу на Boosty Если остались вопросы, задавайте их нам на почту ([email protected]), в комментариях к посту о наборе в тг-канале DLS или в комментарии под этим постом. Ждём вас в чатиках курса в новом семестре!
Open in TelegramВ мае я писала, что меня позвали в программный комитет Practical ML Conf. С тех пор мы просмотрели очень много заявок на доклады и выбрали из них те, которые попадут на конференцию. А сейчас уже вместе с авторами готовим их к конференции) На сайте уже есть программа. Мы старались выбирать самые содержательные и технически нетривиальные доклады. В итоге из самого, на мой взгляд, интересного: • World models для роботов. Спикер — из Nvidia, где руководит созданием нейросетей для стека автономных беспилотных автомобилей • Обучение Alice AI LLM — как хорошо сделать так, чтобы LLM одновременно обладала фактическими знаниями, работала с длинным контекстом, разбиралась в отдельных предметных областях, решала задачи, следовала инструкциям и сохраняла нужный стиль общения. Как завести для этого всего reward модели, и как возникает reward hacking • Agentic Vision: как улучшить пространственное восприятие VLM, научив модель строить планы, корректировать решения и получать дополнительную визуальную информацию И самое веселое — доклад от Антона Разжигаева про Уробороса (онлайн). Уроборос — автономный самоулучшающийся агент Антона, который бьет Codex/Claude Code/Cursor на многих открытых бенчмарках, и уже собрал кучу звезд и форков на GitHub. Вся история создания и улучшения Уробороса — у Антона в канале. Я следила за ней с самого начала, это правда довольно весело, так что я с удовольствием послушала бы общий доклад Антона на конфе) Ну и еще будет много всего другого: генеративные рекомендации, инференс и RL для больших моделей, автономный транспорт, как заводить модели в прод для разных хадач. Ещё будут дискуссии про агентов и про то, как исследования превращаются в продукты. Конференция пройдёт 19 сентября в Москве и онлайн. Участие бесплатное, но нужно зарегистрироваться. P.S. А еще там объявят победителей Yandex ML Prize. Когда-то мне с DLS этот приз не дали 😠 Посмотрим, у кого тут "лучший ML-курс" в этом году 😐
Open in TelegramА сегодня ещё, наконец, вышел пост на Lesswrong по этой статье, его написал мой соавтор. Его можно прочитать и даже лайкнуть, если было интересно)
Open in TelegramВ июне, перед тем как уехать на ICML, а потом на подготовку к IOAI, я была учеником на школе ARENA (Alignment Research Engineer Accelerator). Это что-то вроде технической программы по AI Safety. Как я писала выше, я занимаюсь AI interpretability, что довольно сильно связано с AI Safety. Поэтому я пошла на ARENA, чтобы получше понять, что там происходит внутри AI Safety коммьюнити, познакомиться с людьми, которые делают рисерч по теме interpretability, и, возможно, найти себе fellowship или работу. В итоге у меня сложилось довольно неоднозначное впечатление про коммьюнити AI Safety, но об этом как-нибудь потом. Пока что хотела написать вот о чем: ARENA длилась 5 недель, и в последнюю неделю мы в парах делали небольшие рисерч проекты. В итоге у меня и моего коллеги проект получился достаточно хорошим, с явными результатами, и поэтому мы решили немного его доделать и написать статью на воркшоп. Ниже кратко опишу, о чем статья, а еще дам ссылку на HF daily papers, куда я ее сегодня выложила и теперь хочу лайки 🙂 Итак, статья: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles Activation Oracles (AO) — это языковые модели, обученные отвечать на вопросы о внутренних активациях другой модели на естественном языке. То есть, это один из подходов анализа активаций моделей, который выдает инфу в виде текста на естественном языке. У модели AO по сути спрашивают "о чём это скрытое состояние?", и AO генерирует ответ. Теперь: пусть у вас есть LLM, в которой есть какая-то скрытая информация — например, backdoor, скрытая цель или знание. Тогда естественно было бы предположить, что если обучить AO на активациях именно этой модели, то он хорошо научится считывать ее внутренние состояния и сможет легко найти эту скрытую информацию. Так вот, в нашей статье мы показываем, что в реальности может получиться ровно наоборот. Мы взяли пять разных концептов и дообучили LLM скрывать эти концепты. Потом обучили AO на активациях этих моделей. Оказалось, что AO, обученный на активациях модели X, начинает хуже "видеть" именно тот концепт, который скрывала модель X. При этом если этому же AO скормить активации другой модели Y, то он хорошо распознает концепт, который скрывает Y. Короче, вывод: в некоторых случаях обучение инструмента интерпретации (например, AO) на данных той самой модели, которую он должен интерпретировать, может сделать его систематически слепым именно к той информации, которая содержится в этой модели. Ссылки: Статья HF daily papers (вот тут можно поставить лайк!)
Open in Telegram