max.sh

No text

Student Researcher на лето в GDM. Заниматься наукой и AI Подробные детали и как податься в линкедин посте https://lnkd.in/p/eJSnHFDH

No text

Давно не появляся с постами – сентябрь и октябрь вышли очень насыщенными на рабочие задачи. Надеюсь, постить получится чаще. И для начала небольшой разбор, который никак не доходили руки запостить уже несколько месяцев

Вышел из отпуска и сразу в лондонскую подземку. А тут снова ждет креативная it-шная реклама. Такое мы подмечаем. Еще и с отсылками к Бойцовскому Клубу (которые так же зашиты в цветовую палитру компании, если потыкать их сайт). Ну как таким не поделиться? Речь про нео лабу страховую Lemonade. AI-driven компания, известная крайне высокой степенью автоматизации своих процессов. Оценивается в несколько миллиардов. С инженерами из этой компании мне даже удалось поработать. Ребята реально стараются применять передовые технологии где только можно. В мою бытность в стартапе они стали нашими дизайн-партнерами - то есть компанией, вместе с которой мы прототипировал раннюю версию нашего продукта: они нам данные, фидбэк, первый трафик и баг репорты, а мы им полезную для них вещь и плюс возможность докрутить какие-то фичи непосредственно для них. Lemonade быстро сообразили что свои эвалы для агентов - это важная тема, которую не так просто реализовать самим. Имея много агентского контекста( cursor rules, agents.md, скиллы), тонну микро-сервисов и много внутренних wiki им было очень интересно мониторить пользу от всех этих штук. Да и конвертировать PR-ы в SWE-bench style таски, выбирая так дешевую модель, им тоже тогда откликалось. Поэтому ребята бодро итерировались вместе с нами, подкидывая все больше «идей» для новых фичей. В определенный момент, правда, многие такие фичи оказывались не важны, трафик нашего продукта падал, а через некоторое время у них появляись свои аналоги с тем же функционалом. Совпадением это назвать сложно. Тогда я в первые оценил силу вайбкодинга за пределами своих поделок. В последствии, статус дизайн-партнерства быстро перерос в фазу платящих кастомеров. Будут еще интересные постеры, запечатлю, а там поди и история какая-нибудь найдется.

No text

По этикету, уходя из хорошего места - найди хорошую замену. Поэтому пост с вакансией Компания: Tessl, ранний стартап, подняли $125M Роль: Research Engineer, ищут middle+ / senior / senior+ Компенсация: £150K-£230K base salary, сверху много опционов, тут уже как получится договориться Локация: Лондон, спонсируют рабочую визу. Чем предстоит заниматься: компания только ищет свой market fit, так что предстоит примерить много ролей: и кучу пилотов делать, и на созвоны с клиентами ходить, и выступать на разных ивентах по всему миру, рассказывая про всякие интересные результаты. Примеры того, чем я занимался: 1) писал статью про то, как делать эвалы agentic skills (приняли на KDD 2026) 2) пилил автономных код ревьюеров 3) ходил на подскаты рассказывать про бенчмарки. Сейчас команда сильно инвестирует в software dark factories и в инструменты для их создания Кто подойдет: Сильные ML-щики, AI инженеры, Data-инженеры / SWE инженеры с сильным ML бэкграундом (понимать как устроен цикл разработки моделей, эвалов, деплоя агентов). Процесс интервью: 1) Скрин с hr-ом на мотивацию 2) take home на 3-5 часов - дают кредитов на любимого агента и ждут, что все решение сделает агент (под вашим руководством) 3) он-сайт с live coding-ом (агенты разрешены), секция на ML Design 4) бихейвы с лидершипом и фаундером Важно: По предыдущему опыту, команда любит проводить он-сайт именно вживую, с ремоут кандидатами часто были проблемы. Очень желательно иметь возможность приехать в лондон для собеса. Если большая звезда, то не будет проблем и онлайн думаю. ⏹️Как податсья: На сайте с вакансиями. Либо написать мне в личку (контакт в профиле канала) - тогда порекомендую команде напрямую (у меня осталось много опционов, поэтому замотивирован найти сильных ребят 😎)

К слову о конкурсах. И почему в них круто участвовать. Расскажу свою историю. В 2018 году я учился на третьем курсе универа по компьютерной специальности. Мне точно нравилась идея карьеры в it, но чем именно я буду заниматься, толком не знал. К продакшн разработке c c# / java душа точно не лежала. В свободное время я заглядывался на машинное обучение. К тому моменту уже прошел легендарный курс от ODS (Юра, привет!) и посматривал лекции на Coursera в специализации от МФТИ (какие же были времена!) Очень нравилось как математические концепты трансформируются в какие-то обучающие алгоритмы, fit, predict, вжух вжух и можно предсказывать рейтинг фильма! Тогда я точно решил, что буду стремиться попасть на какую-нибудь работу, где можно будет пощупать этот ML вживую и понять, мое или нет. Нужна была хоть какая-то практика, чтобы создать видимость опыта. И я стал смотреть на конкурсы. Но начать участвовать вот так с ходу было тяжело: ничего непонятно и страшно. Мне очень повезло, что в этом же году проходил курс DMIA – бесплатной онлайн программы по анализу данных от Виктора Кантора. Я выбрал трек "Соревнования по Машинному Обучению", лекции вел Дмитрий Гущин (Дима, привет!), рассказывая разные трюки построения сильных ансамблей. А домашками были реальные конкурсы! Тот факт, что участвуешь не один, есть чат, где можно позадавать вопросы или почитать идей очень помогал побороть страх первого сабмита. Одним из конкурсов было соревнование от Яндекса на их платформе для контестов. Если память не изменяет, то задача была от команды Алисы на ранжирование ответов модели (да, да, тогда до генеративного ИИ было еще далеко!). В моем арсенале навыков были только линейные модели на tf-idf, деревья решений, а также слабенький ноут. Нейронные сети, word2vec и нечто из обсуждений под названием DSSM были темным лесом. Поэтому, естественно, до высоких мест мне было далеко. Я приземлился в районе 60 места. Это было немного, но это была честная работа. Я пыхтел над своими решениями и вкладывал весь скилл в подбор параметров на кросс-валидации. И всем кто финишировал в диапазоне выше определенного места дарили памятные сувениры. В том году это было поло с красивой эмблемой Контеста! В каком же восторге я был, что получилось что-то выиграть! Потом довольный ходил еще несколько лет в этом поло пока оно не стало совсем мало. После конкурса меня прям потянуло в NLP и я стал еще активнее смотреть курсы, читать теорию и интересоваться темой. А первые стажировки оказалось найти не так уж и сложно. Той самой истории про мое решение с конкурса + что бы я сейчас сделал по-другому слихвой хватилона собеседованиях в тот же яндекс в том же самом году. Правда там я так и не поработал, выбрав тем летом стажировку в СКБ Контуре, где уже познакомился с кластеризациями и потрогал RNN-ы.

🏎 Пост для для любителей контестов. Цель конкурса: разработать систему, которая передает поток данных от одного источника нескольким получателям с минимальной задержкой. Добиться низкой задержки в среднем или на медиане можно достаточно стандартными приемами. А вот хардовая часть – сделать так, чтобы на высоких квантилях и под нагрузкой задержка ухудшалась минимально, даже когда растут объем передаваемых данных и количество получателей. В общем оптимизировать P99 (по своему опыту работы с low latency аудио моделями знаю как это тяжело). Конкурс проводит Spectral::Technologies - команда занимается высокочастотным трейдингом (HFT), торгует на рынках по всему миру своими стратегиями. Чтобы чуть лучше дать понять, чем занимаются их инженеры – открыли одну из задач, которую решали сами, в формате соревнования. Из прикольного. Вместе с участниками задачу будет решать и Claude Code. Его решение будет находиться в публичном доступе. Можно использовать как бэйзлайн и источник для вдохновения. Recursive Self-Improvement тема горячая, поэтому хорошая площадка для экспериментов по дизайну таких агентов. Экспертиза по распределенным сетям и прокачанный C++ тоже явно не помешают. Оценивать будут распределение задержки, масштабируемость, корректность и воспроизводимость решения. 🏆 Бонусом хорошие призовые (участие индивидуально): 1 место – 6 000 USD gross 2 место – 3 600 USD gross 3 место – 2 400 USD gross Авторам лучших работ – и не только участникам из топ-3 – предложат сокращенный трек найма на позиции C++ Software Engineer или AI Software Engineer. Платят ребята очень хорошо, вилки публичные (ссылка на блог на codeforces) Дедлайн конкурса – 30 августа, 23:59 GMT+3 Регистрация и доступ к задаче через бота компании – @spectral_challenge_bot

Небольшой анекдот-история, чтобы задать правильный ритм на неделю. А кому и настроение поднять Наблюдал я как-то следующую ситуацию. Была у компании умная модель. И ее через кастомизированные харнессы (system prompts + тулы + конеткст) адаптировали к разным прикладным доменам. Одна из задач была помочь оптмизировать работу фиансовых аналитиков. Техническая команда быстро собрала агентскую обвязку и добавила разных профильных тулов. Среди прочих были и более классические: bash с файловой системой и web_search Чтобы померить качество своего агента, команда взяля набор открытых публичных бенчмарков, которые пересекались с реальными приложениями хотя бы на уровне инструментов. Сделали прогоны. На каждый бенчмарк по 5 попыток решить задачу - все честно и с стат значимостью. Бэйзлайны других агентов/моделей гонять не стали – взяли открытые цифры. Получалась SOTA! На каждом бенчмарке! Где-то 15%, где-то и все 30%. Кто следит за лабами, тот знает всю эту кухню бенчмаксинга. Большие цифры никого не смущали. Был проделан быстрый human expert анализ траекторий агентов на небольшом подмножестве сэмплов из каждого бенчмарка. Все клеилось. Агент просто хорош. Стали готовить презентации, рисовать те самые заветные bar charts, показывая в каком далеком космосе новый агент. Но все-таки бывалых инженеров что-то насторожило. Проделали еще один инженерный анализ. Выяснилось, что один из инструментов, web_search, так мощно работал, что когда агент решал его использовать, то в выдаче регулярно оказывались ссылки на...исходники бенчмарков! либо на гитхаб репозиторий, либо на hugging face, либо куда-то еще. Бенчи то опенсоурсные и все ответы лежат в открытом доступе! Стоит добавить, что не каждый поисковый движок такой сильный, чтобы глубоко индексировать интернет Обнаружить такое было и правда не тривиально (без некоторых проверок на уровне эвала), потому что модель по-умному читерила. Понимала, что нашла ответ, но якобы проверяла себя, сначала «честно» пытаясь решить задачу, используя все валидные инструменты, а при не удаче, просто копируя ответ. Так траектории получались достаточно реалистичными. Презентации свернули. Продакты краснели от негодования. Молодые рисерчеры краснели еще сильнее. Бывалые соколы оправдывали свое призвание бывалых. Баги устранили, определенные веб домены были добавлены в исключения, агенту в системном пропмтпе запретели лазить по некоторым сайтам, а в рубрики валидаторов добавили проверку на рассуждения. Эксперимент был перезапущен. Цифры стали скромнее. SOTA испарилась. Но на некоторых бенчах результаты все равно радовали глаз. Проверйте результаты, вставляйте все возможные проверки, чтобы отловить читерство.