🤔 А нужен ли аналитику Git? Недавно на встрече с коллегами из академии мы зацепились за вопрос, нужен ли аналитику Git, или это всё-таки чисто разработческая история, и мнения разделились, а я вот давно думаю, что нужен, и попробую объяснить почему. Если по-простому, то Git - это система контроля версий, которая хранит историю изменений твоих файлов и помнит кто, что и когда менял, так что ты в любой момент можешь откатиться назад или поработать над чем-то параллельно, не ломая основную версию. Многие возражают в духе «ну я же не пишу продакшен-код», и аргумент понятный, вот только аналитик на самом деле пишет кучу всего, что прекрасно живёт в Git: SQL-запросы, питоновские скрипты, ноутбуки с исследованиями, конфиги дашбордов, а иногда и целые ML-пайплайны, и всё это так же легко сломать или случайно перезаписать, как и обычный код разработчика. 📚Кстати, далеко ходить не надо: у нас в академии на курсе по питону студенты сдают домашки именно через GitHub, так что знакомство с Git у ребят начинается ещё на этапе обучения, и это, по-моему, очень правильно, потому что навык заходит естественно и в связке с реальными задачами, а не как отдельная страшная тема «на потом». Мне Git в своё время сильно упростил жизнь в нескольких вещах. Во-первых, стало просто откатываться назад, потому что когда ты переписал запрос, всё развалилось, а как было раньше уже не помнишь, ты спокойно возвращаешься к рабочей версии, вместо того чтобы раскапывать папку с файлами вида «script_final_v2_итог_точно_финал.sql» 😅 Во-вторых, с ним куда проще работать в команде, ведь несколько человек правят один проект, и Git сам аккуратно сливает изменения, вместо того чтобы вы перекидывались файлами в мессенджере и гадали, чья версия новее. Ну и он хранит всю историю, так что если нужно понять, кто поменял логику метрики полгода назад и зачем, то всё это лежит в коммитах, а отдельный кайф - это ревью через пулл-реквесты, когда коллеги смотрят твой код до того, как он уйдёт в дело, и качество от этого только выигрывает. ‼️При этом гуру становиться совсем не обязательно, потому что на старте вполне хватает базовых вещей вроде clone, add, commit, push и pull, умения работать с ветками и спокойно разруливать конфликт, когда вы с коллегой поменяли один и тот же файл, а всё остальное спокойно набирается уже по ходу дела, когда появляются реальные задачи. Так что моё мнение, да, Git нужен, хотя бы на базовом уровне, потому что даже если ты работаешь в одиночку и просто хранишь свои запросы и ноутбуки, он всё равно спасает от потерь, бардака и вечного вопроса «а что же я менял на прошлой неделе», а как только появляется командная работа, он из приятного бонуса превращается в прямую необходимость. А вы используете Git в аналитике, или пока живёте по старинке с папками «финал_финальный»? 👀
Открыть в TelegramПосты канала 🌸Таня и Данные📊
С днём рождения меня! 🎂 (ну, как аналитика) Зашла на Госуслуги оплатить штраф🙈 и увидела, что 21.09 был мой первый в жизни рабочий день и первый день в Магните🧲, так начался мой путь в аналитике, а значит, на этой неделе был некий праздник 🎁 Шесть лет 🥹 звучит одновременно и «ого как много», и «да ладно, будто вчера открывала первый датасет и не понимала, что вообще с ним делать». Забавно, что этот мини-юбилей случился как раз после поста про то, что я решила «ничего не делать». И вот тут пора признаться честно, что не то чтобы прям ничего 😅 Если разложить мои «лайт» планы, картина выходит такая: — основная работа, куда же без неё 💻🤍; — преподавательская деятельность, пока только в роли ревьюера работ на курсах Академии Аналитиков Авито. Курс по метрикам, где участвовала в прошлом году, в этот раз пропустила, зато вписалась в новый для себя курс - питон для DA/DS 🐍 — таааакжеее дальше в планах курс по Эконометрике, он будет в ААА и Центральном Университете 📊 — далее будет еще пара курсов для меня как ревьюера, но уже точно в сл году…. — ну и вечный мой спутник английский, который со мной уже как часть быта 🇬🇧 Так что «ничего не делаю» - это, кажется, была наглая ложь 🙈, я вообще не умею ничего не делать. Однако, теперь я выбираю нагрузку осознанно и без гонки: не потому что «надо успеть всё», а потому что мне правда интересно. Шесть лет назад я не понимала, где окажусь, но ни разу не пожалела, что отказалась тогда от собеса в сбер🙈 Посмотрим, что принесёт седьмой год 🚀 а пока закрываем квартал и уже готовимся к очередному ревью 🔥
Открыть в TelegramРешила ничего не делать! Читаю сейчас многих ребят из айти, и все куда-то растут: кто-то идёт на курсы, кто-то из аналитиков поступает в магистратуру по ML, кто-то вообще кардинально меняет направление и уходит из разработки в ML. Отовсюду сыпятся крутые мероприятия, митапы, хакатоны, и это правда здорово я люблю эту движуху и сама всегда была где-то в её гуще 🚀 Но вот что интересно: обычно я первая записываюсь на всё подряд, беру ещё один курс, ещё один проект, ещё одно «ну надо же подтянуть», а сейчас, возможно впервые за долгое время поймала себя на том, что хочу ровно обратного — хочу притормозить. Не буду скрывать, к концу лета я подкопила и усталость, и дефицит времени: столько всего шло параллельно, что даже этот канал я незаметно подзабросила, хотя очень его люблю ♥️ и вот это ощущение подступающего выгорания стало для меня сигналом, что пора сбавить обороты. Смотрю на свой список: пара финальных сессий с ментором, курс по ML только закончился, алгосом с меня хватит (пока что). И я сознательно решила пока не набирать ничего нового, я оставляю себе только английский и работу. Всё. Никаких марафонов, буткемпов и «а давай ещё вот это». Началось всё с отпуска на Камчатке 🌋 Это то место, где я впервые за долгое время реально выдохнула, так чтобы не «полежала пять дней и снова в бой», а по-настоящему отключилась и восстановилась эмоционально, иииии мне так это зашло, что по прилёте я решила этот отдых не заканчивать. Сейчас вот приехала в Казань, гуляю, вкусно ем, разглядываю город — пока даже без обратного билета, потому что хочется просто побыть, а не бежать по плану (спасибо удалёнке, что дома можно не сидеть 🙃). Зато у этой паузы есть приятный бонус: наконец появится время писать сюда почаще. Хочу делиться тем, что делаю на работе, и тем, что подчеркнула для себя из пройденных курсов и консультаций с ментором — там накопилось много всего полезного, чем грех не поделиться 💭 Максимум, на что я сейчас согласна из активностей — это сходить на пару мероприятий, но чисто ради удовольствия и общения, а не чтобы «прокачать скилл», а дальше посмотрим, куда приведёт эта пауза 🤍 🍂Иногда самое полезное для роста - это разрешить себе немного постоять на месте♥️
Открыть в Telegram🤖 итак, я прошла внутренний курс по ML в Авито (ну почти — остался экз 🙈) Я закрыла все темы курса, теперь передо мной финальный босс в виде экзамена - хотя я до конца еще не решила буду ли сдавать - я только вернулась с небольшого путешествия и не перестроилась на московское время, а сроки поджимают 🌴 📚 Что вообще было в программе Курс оказался прям плотный и по-хорошему математический, без «ML за 5 минут на пальцах». Прошли весь классический путь: питон и numpy/pandas на разогрев, потом математика и линейная регрессия с градиентным спуском, логистическая регрессия и переобучение с регуляризацией, метрики качества (вот это маст для любого аналитика), решающие деревья, ансамбли — случайный лес и градиентный бустинг, временные ряды на FBProphet и под конец обучение без учителя с кластеризацией. Что мне зашло — почти каждая тема идёт в связке «теория + семинар», то есть сначала разбираешь как оно устроено под капотом, а потом сам реализуешь. Не просто зовёшь готовую функцию из sklearn, а понимаешь что она внутри делает 🧠 💡 Зачем это аналитику Знаю, что кто-то скажет «ну ты же аналитик, зачем тебе ML». А затем, что граница между аналитикой и ML давно размылась, и половина этих тем — это буквально мои рабочие задачи. Я уже делала на работе модели ранжирования и классификации, в том числе модель классификации в бою в Авито, так что курс лёг не в стол «на будущее», а прямо в текущую практику, местами закрыл пробелы, местами разложил по полочкам то, что я делала интуитивно. Метрики качества, переобучение, отбор признаков — это вообще базовая гигиена, без которой к любой модели страшно подходить, и хорошо когда это уложено системно, а не собрано по кусочкам из разных статей 📊 🎯 Про грейды Отдельный плюс этого курса — им можно закрыть компетенцию по ML тем, у кого в работе просто нет подходящих задач, чтобы прокачать это направление вживую. У меня-то такие задачи есть, поэтому я иду сюда скорее за ачивкой и чтобы освежить и систематизировать всё, что уже знаю, а не чтобы закрыть пробел. Но если ML в твоих задачах не встречается, а прокачать компетенцию надо это прям рабочий способ закрытия компетенции👌 😅 Ну и про совмещение Отдельный аттракцион проходить ML-курс параллельно с алгосами, менторством и процессами ревью. Были недели, когда я жонглировала всем сразу и уже переставала понимать, какой дедлайн ближе, но как-то выплыла. Видимо, любовь к учёбе сильнее любви к свободным вечерам 🤓 В общем, курс огонь, Авито вообще, это тот случай, когда внутреннее обучение сделано не для галочки, а реально прокачивает, а я после отпуска начну морально готовиться к экзамену за ачивку (или не начну, еще не решила)🔥 Пс: точно беру паузу на обучения, прям 10000%😅 иначе я не вывожу этот ритм
Открыть в Telegram🫶Наконец-то мои ручки дошли до поста про результаты ревью 🙌 В прошлый раз рассказывала как заполняла матрицу и планы, а теперь пришла обратная связь и, в целом, я довольна 🥹 Не буду вдаваться в детали проектов (топ сикрет информэнш 🤫), но поделюсь тем, что реально грело, а это обратная связь от коллег, потому что цифры и грейды это одно, а вот когда читаешь как твою работу видят со стороны – это совсем другое чувство. ⚙️ Сначала пара слов как это вообще устроено Процесс в Авито проходит раз в полгода и состоит из нескольких шагов. Сначала сотрудник сам пишет ревью – что сделал и чего добился за последние полгода, потом собираются отзывы от коллег и смежников, причём ты сам выбираешь, с кем работал по каждой цели, чтобы открыть им возможность оставить отзыв. Дальше менеджеры пишут защиту на ревью, чтобы подтвердить достижения, а потом, самое интересное, менеджеры направления собираются, изучают материалы и обсуждают результаты каждого сотрудника между собой на калибровках. Именно поэтому оценка получается не «как решил один руководитель», а откалиброванная между командами, и итоговую обратную связь ты получаешь уже от разных менеджеров. 💬 Итак, что отметили коллеги Из отзывов сложился портрет, которому я, честно, рада: — скорость и умение быстро разбираться в новом, даже когда задача мутная и без готового ТЗ; — то, что я не просто делаю поставленное, а сама выкапываю узкие места и риски, о которых никто не просил, и сразу приношу варианты как их закрыть; — готовность лезть в сложное – оказывается, мой интерес к запутанным задачам реально двигает проекты вперёд, а не только съедает мои вечера 😅 Отдельно приятно было увидеть слова про новаторство и «усовершенствование процессов» – потому что именно в это я вкладывалась осознанно, и здорово, когда это замечают не только внутри, но и смежные команды 🚀 🎓 А ещё была преподавательская часть Помимо основных задач я в этом полугодии проверяла студенческие работы в нашей внутренней академии (несколько десятков работ, обсуждения, обновление заданий) и это тоже зачлось как вклад в обмен знаниями и развитие бренда. Плюс мне это самой в кайф, так что тут вин-вин 🙂 💭 Что я из этого забираю Главный вывод: те качества, которые мне иногда казались «ну просто я так работаю» – лезть в сложное, докапываться до сути, приносить идеи – оказались ровно тем, что ценят больше всего. Иногда полезно услышать со стороны, что твои сильные стороны это правда сильные стороны, а не что-то само собой разумеющееся. Так что полугодие закрыто на мажорной ноте, а я уже поставила планку повыше на следующее 🔥
Открыть в Telegram🌸 Пост про вакансии Листала вакансии аналитика и словила "легкое" негодование 😅 открываешь любую, хоть джуна, хоть мидла, и почти в каждой обязательным пунктом идут алго секции, ML, эксперименты, супер сложная математика и статистика на серьёзном уровне, читаешь и думаешь, ну всё, без этого даже соваться некуда (если бы я увидела это в 2020 году на своем старте я бы передумала быть аналитиком, наверно) 🫠 И вот что забавно, я ведь к части этих навыков как раз только подбираюсь сама 🤭 алгосы вон учу потихоньку (медленно, но верно 🐆), ML умею классический - всякие модели ранжирования и классификации, недавно домучила внутренний курс и остался только экзамен, курс этот, честно скажу, взялась сдавать во многом ради ачивки, хихик 🏅 а ещё хожу к ментору за консультациями по A/B, так что я прямо в самом процессе, и как раз поэтому хорошо вижу, насколько всё это в вакансиях перекошено, потому что требуют это вообще все, а применяют по-настоящему далеко не все... Потому что нормальный A/B это ведь не «поделила юзеров пополам и глянула», а целый трафик, инфраструктура и культура принимать решения по цифрам, а не по «ну вроде подросло», и с ML та же история, в проде это не строчка в резюме, а данные, мониторинг, переобучение и ответственность за то, что модель не развалится через месяц, и вот это всё обычно живёт в крупных компаниях, где под такие задачи выстроены целые процессы и команды 💪 А во многих других командах аналитик за квартал может не запустить ни одного полноценного эксперимента, и вовсе не потому что не умеет, а просто потому что там другой продукт, другой объём трафика и другие задачи, и ML там если и трогают, то изредка под какую-то конкретную гипотезу, и это абсолютно нормально, работа там ничуть не менее ценная, она просто про другое 🤷♀️ 💭 Получается довольно дурацкая ситуация, когда компания, в которой A/B по факту негде развернуть, всё равно вписывает его в требования просто потому что так у всех принято и надо быть "крутой датадривен компанией на рынке", а человек, который только вкатывается, читает этот список и решает, что обязан прийти уже готовым спецом по экспериментам и продакшн-ML, хотя по факту придёт и половину из этого потом месяцами даже не откроет 😅 Так что если вы сейчас смотрите на такую вакансию-простыню и тихонько паникуете от строчки ML / A/B / эксперименты, то спокойно 🫶 да, это классно и учить это правда стоит, я же вот сама с удовольствием учу 😄 но во многих местах это требование скорее ритуальное, чем рабочее, и куда важнее оказывается база, то есть уверенный SQL, понимание метрик и умение задать правильный вопрос к данным, а эксперименты и ML вы спокойно доберёте уже там, где они реально живут, и обычно это выходит куда быстрее, чем кажется на старте 😌
Открыть в TelegramПро ИИ сейчас не говорит только ленивый, ну а я чем хуже 🤖 Недавно поймала себя на мысли, что ИИ прочно переехал не только в мою работу, но и вообще во всё, и решила устроить ревизию, куда же он у меня просочился. 💼 На работе Документация – это, кажется, первое что я с себя сгрузила, потому что писать её руками невыносимо, а ИИ оформляет и исследования, и техописания так, что мне остаётся только вычитать и поправить смысл. Рутинные скрипты, которые надо просто переписать под новый формат, тоже давно не пишу с нуля, а отдаю на растерзание агенту и потом причёсываю. А ещё ИИ здорово выручает на старте исследования, когда есть задача, но пока нет чёткого плана, я накидываю ему контекст и прошу подкинуть идеи, с каких сторон можно копнуть, какие гипотезы проверить, и из этого вороха уже выбираю то, что имеет смысл. Отдельная любовь – это бот саммари встреч, которые я скипнула 🙈 бот честно сидит вместо меня на созвоне, а потом присылает выжимку, и я за пару минут в курсе всего, ради чего раньше пришлось бы просидеть час. А ещё забавное из преподавания: когда проверяю студенческие работы, я иногда прошу ИИ прикинуть, насколько вероятно, что работу писал не человек, а другой агент 🕵️ Ирония жизни: агенты ловят агентов 🏡 В жизни Вот тут мой личный предмет гордости – бот, который ведёт меня по быту, он каждый вечер он присылает план на завтра: что съесть и как потренироваться, а раз в неделю готовый список покупок под все эти планы, то есть я больше не стою в тупике у холодильника и не изобретаю, что бы такое поесть, за меня всё уже придумано 🥑 И ещё одна мелочь, которая экономит мне кучу нервов: длинные переписки я теперь тоже читаю через агента, когда прилетает простыня на сто сообщений, я просто прошу выжимку, вместо того чтобы скроллить это всё вручную и терять волю к жизни 💬 Ещё ИИ стал моим личным репетитором по английскому, я на нём то диалоги гоняю, то прошу объяснить разницу между словами или разобрать мои ошибки, и это оказалось куда живее и приятнее, чем скучные учебники 🇬🇧 Короче, в какой-то момент ИИ из «прикольной игрушки» превратился в невидимого ассистента, который разгребает за меня всю рутину и оставил силы на то, что реально интересно 🔥
Открыть в TelegramКажется, я самый неторопливый леопард на курсе по алгосам 🐆 Не буду врать, по темпу я плетусь в самом хвосте, и пока вся группа где-то вперёди, я всё ещё топчусь на продвинутых матрицах и строках, но паники нет, потому что эти выходные, следующие несколько выходных и будние вечера у меня уже забронированы под тёплую компанию Глеба (с законными перерывами на Уимблдон и ЧМ, разумеется 🎾⚽️), верю в себя 🔥 Итак, чо там по курсу 👇 Перед тем как двигаться дальше, я освежила в голове подсчёт временной сложности, и тут снова спасибо Глебу, потому что он считает её буквально в каждой теме и каждой задаче, так что мне даже напрягаться не пришлось, О-большое уже почти на автомате 🧠 🧩 Из последнего, что мне понравилось задачка Plus One, которая на вид совсем безобидная (прибавь единичку к числу, записанному массивом цифр), а на деле подкидывает засаду, потому что всё ломается на девятках, и когда у тебя 9, 99 или 999, простое «плюс один к последней цифре» превращается в каскадный перенос разряда, из-за которого массив приходится ещё и удлинять, тут конечно Глеб не зря разбил её на две части, сначала базовый случай, а потом уже отдельно вот эту историю с девятками, и это как раз тот случай, когда простенькая easy-задачка учит думать про краевые случаи, на которых обычно все и спотыкаются 🫠 А ещё было приятно заново взглянуть на целочисленное деление и модулус (же под алгоритмическим углом, потому что в обычной работе я их использую постоянно, но там это просто бытовой инструмент, а тут вдруг оказывается, что на них держится половина трюков с цифрами (тот же Add Digits или Divisible and Non-divisible Sums), и вот эта смена оптики из «оператор на каждый день» в «изящный приём для задачи» мне зашла 😄 Ну и Строки порадовали – там Глеб показывает встроенные методы питона вместо того чтобы всё лепить руками, и сразу видно, где можно решить красиво и в пару строк вместо портянки кода. 🔥 А на сегодняшний вечер у меня в планах Хэш-сеты и, если хватит запала, немного Хэш-таблиц, и вот их я жду прям с особым нетерпением, потому что это та самая тема, без которой на алгосекции делать нечего. Из всего блока больше всего предвкушаю разбор задачи Group Anagrams, и не просто так, а потому что она реально одна из самых частых на собесах в Яндексе, и идея там красивая до мурашек: берёшь слова с одинаковым набором букв и складываешь их в одну корзинку, а ключом служит отсортированное слово, так что вся соль в том, чтобы додуматься использовать хэш-таблицу с хитрым ключом вместо того чтобы тупить и сравнивать всё со всем 👀 И рядышком идёт легендарная Two Sum, которую, кажется, спрашивали примерно у каждого второго на планете, и на ней как раз шикарно видно, как хэш-таблица превращает медленный перебор за O(n²) в изящное решение за один проход 💪 Кстати, отдельный кайф в том, что многие из этих задачек дают именно туда, куда я и целюсь, так что я не просто галочки в тренажёре ставлю, а сразу готовлюсь к реальным секциям, и это здорово держит в тонусе 🔥 (а еще в тонусе держат цитаты из треков в разборах задач в исполнении Глеба, напомню это вот тут🤭) Так что даааа, я отстала, но не сдалась, мозг тихонько скрипит, но явно радуется нагрузке, а впереди ещё вагон новых тем, так что заскучать мне точно не грозит 😌
Открыть в Telegram🌺 Пост о полугодовом ревью В Авито перформанс ревью проходит раз в полгода, и свою часть я уже сдала: self-review, матрица компетенций, планы на следующий квартал, расскажу немного как это устроено, и что я про себя поняла в этот раз, пока заполняла 👇 Если коротко, матрица компетенций - это подробная табличка (она у Авито открыто лежит на гитхабе), где расписано что должен уметь аналитик на каждом грейде, оценивают по нескольким осям: какие задачи находишь и решаешь, насколько самостоятельно, как делишься знаниями, как влияешь на бизнес. 🛠 Отдельно оценивают хард-скиллы по пяти направлениям: SQL/DWH, визуализация, статистика и математика, Python и ML. И тут интересно как растут требования: джуну достаточно писать базовые запросы и скрипты, а на старших грейдах это уже оптимизация тяжёлых выборок, построение витрин, кастомные стат-критерии (не просто t-test и Манна-Уитни из коробки, а умение их валидировать под свою задачу), проектирование экспериментов и ML под реальные бизнес-кейсы. 🤔 Логика роста по грейдам примерно такая: джун решает готовые задачи под присмотром, мидл сам находит проблемы и договаривается о приоритетах, сеньор отвечает за аналитику целого направления и сам планирует квартал, и чем выше грейд, тем больше неопределённости в задачах и тем шире круг влияния, и переход между грейдами завязан не на “хорошо поработала”, а на конкретный проект нужного уровня сложности, который надо защитить. 📊 И вот тут ключевое - что считается “сложной задачей”. Она оценивается по трём осям: насколько открытая была постановка (принесли готовое ТЗ или “разберись сам”), масштаб для бизнеса и техническая сложность. Поэтому в ревью весят не любые задачи, а именно исследования, где ты сам формулировал проблему и доводил до результата с импактом. Но без ложки дёгтя не обойдётся: заполнять всё это та ещё работа (ну точно не самая моя любимая) 😅 Собрать за полгода все проекты, вспомнить цифры и результаты, разложить по критериям, подтянуть пруфы, на это уходит прилично времени, происходит оно, конечно же, ровно тогда, когда его и так нет: поверх текущих задач и обучений, таааак что последняя неделя перед дедлайном - это отдельный вид спорта. А теперь то, ради чего пишу 💭 Когда живёшь в режиме “работа-обучения-работа”, легко потерять ощущение прогресса, кажется, что просто крутишься в колесе, но стоило сесть и разложить свои полгода по критериям матрицы, как картинка сложилась: за этой гонкой стоит куча реально сделанного 🚀 проекты и исследования, которые на бегу не ощущались как какие-то достижения, вдруг встали на свои места ✨ Вот за это я и люблю ревью: оно заставляет остановиться и увидеть свой рост целиком, не абстрактное “было много работы”, а конкретно: вот здесь я выросла, вот тут прокачала навык, вот этот проект вытащила, а еще это здорово мотивирует на следующий квартал 💪 Так что даааа, времени было мало, но полгода прошли не зря, и это приятно видеть чёрным по белому 🙂👍
Открыть в Telegram👋 Утопаю в процессах перфоманс ревью 😅 но серию не бросаю, поэтому сегодня в программе ✨микро пост✨, в прошлый раз разобрали доверительные интервалы, сегодня про то что еще нужно решить до запуска теста👇 Итак, гипотеза у нас уже есть и первый вопрос: сколько пользователей нужно? "Ну возьмём 1000" не ответ, и вот почему: 🎯 Размер выборки считается из четырёх вещей: MDE (минимальный эффект который хотим поймать он берётся из бизнеса: например, при каком минимальном приросте фича окупится?), базовая метрика (например, конверсия 5%), alpha (0,05 - вероятность ошибочно решить что эффект есть когда его нет, ) и beta (0,8 - вероятность поймать эффект если он реально существует). 0,05 и 0,8 - индустриальный стандарт, можно брать строже, но тогда учитывать, что выборка вырастет. Меняешь любой параметр и меняется вся выборка. На цифрах: конверсия 5%, хотим поймать рост до 6% - по стандартной формуле для двух пропорций нужно 3 800 на группу, итого 7 600. Хотим поймать рост до 5,5% - уже 15 000 на группу. Примерно вчетверо больше при вдвое меньшем эффекте – при прочих равных. *(Проверить можно в любом онлайн-калькуляторе выборки, они гуглятся за секунду.) 🔄 На практике логика часто обратная Не "задаём MDE → считаем выборку", а наоборот: есть фиксированный трафик и сроки, и вопрос "какой MDE мы можем себе позволить при таком трафике?" Если бизнес хочет поймать +0,1%, а трафика хватает только на +1%, то нужно либо смириться с порогом, либо увеличивать длительность теста (но осторожно: длинные тесты попадают в сезонность и поведение пользователей успевает измениться просто со временем - novelty effect или temporal confounding), либо снижать разброс значений метрики между пользователями, чтобы сигнал было легче разглядеть - например, выбирать метрику которая меньше скачет между пользователями. Короче, размер выборки - это не технический вопрос, а бизнесовый: он определяет что мы вообще способны обнаружить 🙂 ❤️Кстати, если у вас есть linkedin - добавляйтесь 🙂
Открыть в Telegram👋 Снова я, с очередной порцией статистики для АБ-тестов! Если честно, этот пост писала долго – за три недели отвыкла что-то писать, пришлось расписываться заново 😅 Но тема того стоит, потому что ошибка в интерпретации доверительных интервалов тема важная. Поехали 👇 В прошлый раз разобрали MDE и ситуацию "значимо, но меньше порога", обещала рассказать, как тут помогают доверительные интервалы, держите. Сиитуааация: P-value < 0,05 все радуются, тест "зелёный". Но стоп⛔️. P-value отвечает только на один вопрос: "а не случайность ли это?" иии всё, не говорит ни насколько большой эффект, ни стоит ли вообще катить фичу, доверительный интервал другое дело. 🎯 Что такое ДИ и как его читать Представь: тест показал +0,4% к конверсии, звучит как победа, да? Но доверительный интервал для этой оценки: от -0,1% до +0,9%, технически это значит: если бы мы повторяли такой эксперимент много раз, в 95% случаев построенный таким же способом интервал накрывал бы истинный эффект, конкретно этот интервал – либо накрывает, либо нет, мы не знаем, но процедура надёжная. Если без математики: ДИ показывает диапазон возможных значений реального эффекта: не точку, а вилку, а эта вилка часто говорит больше, чем одно число(это упрощение, но рабочее). И вот что важно считать из этого интервала: ➖нижняя граница уходит в минус → фича может и навредить; ➖верхняя граница не дотягивает до MDE в 1% → даже в оптимистичном сценарии эффект маловат для внедрения. Окей, с примером, кажется, разобрались, теперь четыре сценария, которые реально встречаются в работе 👇 1️⃣Весь ДИ выше MDE → это именно то, что хотели увидеть, решение о внедрении всё равно принимается с учётом затрат, рисков и бизнес-контекста и ДИ не отменяет это. 2️⃣Весь ДИ ниже нуля → фича явно вредит, тут не катим, фиксируем что гипотеза не подтвердилась и это тоже ценный результат. 3️⃣ДИ пересекает и ноль, и MDE → самый неудобный кейс, эффект может оказаться и вредным, и достаточным поэтому тут нужно либо больше данных, либо осознанное бизнес-решение с пониманием что неопределённость здесь реальная, а не "ну наверное норм". 4️⃣Весь ДИ выше нуля, но ниже MDE → классика, р-value говорит "значимо!", эффект реальный, но слишком маленький, чтобы оправдать внедрение, а значит не катим. 🛤 Ширина ДИ – это уже сама по себе информация. Узкий интервал = много данных, хорошая точность оценки. Широкий = данных мало, шума много, выводы делать рано. Например, ДИ от -2% до +3% – тест просто не дал достаточно информации, не "не сработало", а "мы не можем сказать" и это напрямую связано с размером выборки, чем она меньше, тем шире интервал и тем меньше уверенности в оценке, об этом подробнее в следующий раз. Кароче, p-value показывает есть ли эффект, а доверительный интервал – какой он и стоит ли с ним что-то делать, одно без другого все лишь половина картины, а мы малым не довольствуемся 💅💍 ❤️В следующий раз разберём размер выборки: как его считать, от чего он зависит и почему "ну возьмём 1000 человек" это не ответ
Открыть в Telegram👋 Привет! Я снова пропала, утонула в делах: ревью, закрытие квартала, обучения (куча-куча обучений) и еще сверху преподавательская деятельность - они заняли всееее мое время, ноооооо! я вернулась (надеюсь), и продолжим серию про статистику для АБ-тестов, так как продолжаю работу с ментором над совершенствованием этих знаний и планирую делиться с вами 🌊 В этот раз разберем MDE (Minimum Detectable Effect), он же минимальный детектируемый эффект, тема, которая напрямую связана с вопросом "а какой смысл вообще катить этот тест?" 🎯 Что это вообще такое? Представь: ты запускаешь новую фичу и хочешь проверить, влияет ли она на конверсию. Прежде чем запускать тест, нужно ответить на вопрос "а какой минимальный прирост конверсии нам вообще важен с точки зрения бизнеса"? 🤔 Если фича даст +0,01% к конверсии – технически это эффект, но внедрять её и поддерживать может быть просто не выгодно: затраты на разработку и риски не окупятся таким крошечным приростом. А вот +1% – уже да, уже имеет смысл. MDE – это и есть тот самый порог: минимальный размер эффекта, который мы хотим уметь уловить тестом, и ради которого вообще стоит огород городить. И важно: порог этот двусторонний – нас интересует и "стало лучше на MDE", и "стало хуже на MDE", если фича внезапно ухудшает метрику на величину больше MDE – это тоже значимый для бизнеса результат, просто с другим выводом (откатываем как вредную, а не просто "не катим как неэффективную"). Определяется MDE до запуска эксперимента, на основе бизнес-логики (затраты vs выгода), а не после того, как посмотрели на результаты. 📐 Зачем это нужно MDE напрямую завязан на размер выборки: чем меньше эффект, который мы хотим обнаружить, тем больше пользователей нам нужно в тесте, чтобы статистически достоверно его поймать, мелкие различия тонут в шуме данных, и нужно много наблюдений, чтобы шум усреднился. Но связь работает и в обратную сторону: на практике у нас обычно уже есть фиксированный трафик и сроки ("у нас 10 000 пользователей в неделю, тест идёт 2 недели"), и вопрос звучит как "какой MDE мы можем себе позволить при таком трафике?" Если бизнес хочет детектировать +0,1%, а трафика хватает только на +1% – нужно либо смириться с этим порогом, либо искать способы снизить шум в метрике, либо увеличивать длительность теста. И ещё один фактор, который часто упускают – это "шумность" самой метрики (её дисперсия). Чем сильнее метрика "гуляет" между пользователями (например, ARPU с редкими крупными платежами против обычной конверсии), тем больше MDE при одном и том же размере выборки – такую метрику сложнее "разглядеть" на фоне шума. ⚠️ Ну "значимо, но меньше MDE" (Это самое интересное) Бывает ситуация: тест закончился, p-value < 0,05 – то есть эффект статистически значимый, реально есть. Но сам этот эффект (например, +0,3%) меньше изначального MDE (например, +1%). И тут важно не путаться: статистическая значимость говорит "эффект реально существует, это не случайность", а практическая значимость – это совсем другой вопрос: "достаточно ли велик этот эффект, чтобы оправдать внедрение?" Если эффект значим, но меньше MDE – формально тест "выиграл", но катить фичу как победителя не стоит: прирост слишком мал, чтобы окупить затраты на поддержку и риски. Здесь хорошо помогают доверительные интервалы, ведь они показывают не просто "есть эффект/нет", а целый диапазон вероятных значений, и можно сразу увидеть, лежит ли он выше или ниже порога MDE. 🧐 Короче говоря, MDE – это не просто формула для расчёта выборки, а способ заранее ответить на вопрос "а ради чего мы вообще это затеяли" чтобы потом не разочароваться в результате, который технически "значим", но никому не нужен. В следующий раз разберём, как именно доверительные интервалы помогают принимать решения в таких пограничных случаях 👀
Открыть в TelegramПомните я к ментору пошла? Так вот. Последние недели мы с ментором разбирали AB тесты в формате мок-собесов (по стандарту Авито). В своей работе сейчас я их не использую (пока нет таких задач, и я не продуктовый аналитик, если что), всё что знала давно куда-то испарилось, пришлось вспоминать с нуля, заодно поняла что тут про это почти ничего нет, непорядок. Итаааак, AB тест это не волшебная кнопка "докажи что я прав" – и это главное что нужно понять до того как вообще лезть в эту тему 😅, и если совсем коротко по сути теста: делишь пользователей на две группы, одним показываешь старое, другим новое, смотришь у кого метрика лучше. Цель тут не гадать "ну кажется стало лучше", а доказать это статистически. Вот некоторые ситуации когда тест скорее не нужен: 🐌 Трафика мало. 500 пользователей в неделю – тест будет идти месяцами и всё равно ничего не докажет, выборка слишком маленькая. 😬 Решение уже принято. Тест имеет смысл только если его результат реально может изменить решение, если нет — зачем тратить время. ⏳ Эффект проявится нескоро. Некоторые изменения дают результат через полгода, а не через две недели, смотреть на промежуточное "незначимо" и делать выводы очень плохая идея. 🌊 Идёт сезонность или внешний шок. Тест в чёрную пятницу или когда крупный конкурент внезапно закрылся рискованная затея: поведение пользователей нетипичное и результаты нужно интерпретировать оооочень осторожно. 💸 Цена ошибки слишком высокая. Тестируешь что-то на сегменте с очень высоким чеком и даже небольшой процент недовольных в тестовой группе может стоить дорого, тут лучше поэтапный роллаут. 🤷 Нет чёткой метрики успеха. "Посмотрим как пользователи отреагируют" – это вообще не гипотеза, без конкретной метрики тест превращается в наблюдение. Ну и да, всё это я подзабыла и вспоминала на мок-собесе в режиме реального времени, так что если узнали себя — вы не одни 😅 Но, дальше больше🚀 🐣 Кстати, при подготовке к собесам сейчас готовлюсь в том числе и на англ - сразу запоминаю термины и полезные слова на будущее (ну вдруг пригодится 😉)
Открыть в TelegramЯ вернулась (надеюсь, что надолго)🔥 Две недели отпуска + микро майские и сложные рабочие дни между ними пережиты успешно (через "не могу", но пережиты). Теперь пытаюсь собрать себя заново и успевать всё: менторство, рабочие задачи, теннис (куда без него), курс по алгоритмам и английский. Пока успеваю, но баланс висит на волоске 🎾📚💻 А теперь главное, докажи одной фразой, что прошла модуль «Массивы» у Глеба Михайлова:«ай кэээн бай майселф флавееерс» 🌸(задача 605, кто в теме, тот поймёт). Но шутки в сторону, в модуле нас уже начинают учить не просто решать задачу, а решать её эффективно, например, что на каждом шагу просматривать весь массив это фу, так делать, это брутфорс, а мы уже не в каменном веке. Потихоньку вводится в голову О-большое, тут поделюсь парой лайфхаков, как сама училась его определять: - видишь вложенные циклы – привет, O(n²), беги или оптимизируй - один проход по массиву – скорее всего O(n), ты в безопасности - бинарный поиск (деление пополам) – O(log n), это уже элита. И это реально пригождается, потому что на собесе от тебя ждут не "я решил", а "я решил быстро и без лишней памяти". Ссылка на полезный пост от Глеба по теме. Что ещё нравится: - видео короткие, не успеваешь заскучать и мозг успевает за темпом; - чёткая структура, всё по полочкам (как же я такое люблю, вы бы знали); - к каждой задаче Глеб разбирает 2–3 варианта решения, от самого «прямого» до оптимального, и объясняет, почему один лучше другого. Так что да, я пока не бросила, мозг потихоньку скрипит, но радуется нагрузке, потому как такие задачи я последний раз решала на другом курсе (бэкэнд на питончике), но его не могу рекомендовать 🧠. Помимо самого курса на платформе и задач есть встречи, где можно задавать все свои вопросы, обсуждать задачки - я пока такие встречи смотрела только в записи, но обязательно исправлюсь, а ещеее можно нетворкать в чатике курса💭. Пробовать идти на собесы я пока боюсь, но еще парочку модулей - и обязательно (не зря же ❤️ активно смотрит мое резюме🤭). 📣И кстати! У Глеба стартует новый поток (с грантом!), так что если тоже хотите закрыть гештальт с алгоритмами – смело записывайтесь в ряды леопардов.
Открыть в TelegramПриветики-привет 👋 Ранее уже был пост про автокорреляцию, и про то, что «сегодня зависит от вчера», но есть еще одна хитрая ловушка, в которую попадаются даже опытные аналитики. Сегодня про интегрированность, может звучит сложно, но на практике – это про то, как не сравнивать яблоки с апельсинами, которые растут каждый сам по себе. 📉Что такое интегрированность? Интегрированный временной ряд (integrated time series) – это нестационарный временной ряд, который становится стационарным после взятия разностей определенного порядка. 🎯Ладно, теперь понятнее: представь два сценария: Сценарий А. "Пружинка" Ты тянешь пружинку и отпускаешь ее – она ожидаемо возвращается обратно, сколько ни тяни, всегда возвращается в исходное положение. Это пример НЕ интегрированного ряда и у него есть «домой». Сценарий Б. "Пластилин" У тебя в руках мягкий пластилин, если его тянуть и отпускать то он остаётся в растянутом виде и никуда не возвращается, это интегрированный ряд, у него нет «домой». ⚠️ Почему это важно Два пластилиновых ряда всегда покажут красивую связь, даже если они независимы, если проверить, то может быть такое, что R² = 0,85 и p = 0,001, но это ложь, они оба просто ползут во времени каждый сам по себе. Это называется ложная регрессия (spurious regression). Признаки ложной регрессии: – Завышенный R², – Ненормальное распределение t-статистик, – Низкое значение статистики Дарбина-Уотсона (автокорреляция остатков), – Кажущаяся значимость при полном отсутствии связи. 📎 Грейнджер и Ньюболд (1974) показали, что в такой регрессии t-статистика часто > 4, даже когда ряды независимы. 🔍 Как распознать пластилиновый (интегрированный) ряд Признаки: - Ряд не пляшет вокруг какого-то среднего значения - Разброс значений со временем растёт - Автокорреляция (связь «сегодня со вчера») затухает очень медленно Как проверить (тут технические слова, но я коротко): - Тест Дики-Фуллера (ADF) - Тест Филлипса-Перрона (PP) Основная проверка: «есть ли у ряда единичный корень»: если да, то ряд пластилиновый. 🛠 Что делать дальше Проверить каждый ряд – пластилиновый он или нет (тестом Дики-Фуллера), если оба пластилиновые – построить регрессию и проверить её остатки на стационарность: - если остатки стационарны (успокоились) – ряды коинтегрированы (связь настоящая, можно верить), - если остатки нестационарны – регрессия ложная, цифры не значат ничего. 💎 Главный вывод Пластилиновый ряд = сам по себе ползёт и не возвращается. Два пластилиновых ряда = их регрессия почти всегда покажет красивую связь, даже если связи нет. Что делать? Сначала проверь каждый ряд на «пластилиновость», не проверил, значит не спеши верить R² и p-значениям.
Открыть в TelegramПривет ♥️ У меня была тяжелая неделя перед отпуском, первым нормальным отпуском за всё время работы в Авито (до этого больше двух дней не получалось, ну вы понимаете 🥲). Как вообще дела: ✈️🌴 Я уже в аэропорту Путь к отдыху начался, ноутбук не взяла – это мой личный челлендж, посмотрим, выдержу ли не заходить в ММ с телефона и не читать как там дела. 🤍🤍 22 апреля – год как я в Авито Первый год пролетел быстрее, чем я успела понять, расскажу позже отдельно свои впечатления и про новый график жизни 🎊🦷 20 апреля – год без брекетов Носила их 4 года. Четыре. Года. Теперь каждый день улыбаюсь и не верю своему счастью, если вы носите – держитесь, оно того стоит. 🧠🔢 Закончила первую тему в курсе по алгоритмам Пока мне все нравится, но это была тема-повторение, дальше думаю будет сильно сложнее 🇬🇧🤩 До сих пор не бросила английский Больше года два раза в неделю с репетитором, для меня это абсолютный рекорд. обычно к третьему месяцу я нахожу 100 причин забыть про англ, у меня с ним плохие отношения с детства, здесь я пока держу ритм и очень собой горжусь 🤩 📊➕ С ментором провели первый собес по АБ-тестам Скажу честно: прошло плохо, плохо-плохо, неважно, я ожидала, что будет сложно, но не настолько, я ничего не помню, но мы составили роудмап что разобрать детальнее, а что разобрать прям с самого начала, в мае будем пробовать снова. 📝🔥 И главное: я в отпуске, но посты по эконометрике уже готовы, так что готовьте ваши лайки 👍 в ближайшие дни буду выкладывать. 💬❔В анонимные вопросы прилетело несколько классных вопросов, на них тоже отвечу в ближайших постах, вообще, тем накопилось уже очень много, но пока я мало что успеваю☹️ ❓Кстати, вопрос к вам: Вам удаётся реально отключаться в отпуске? Берёте ноутбук и подсматриваете в чатики или вы адекватные и умеете отдыхать?
Открыть в Telegram🎯 Иду к ментору Это второй пост про мои планы на развитие в этом году. Напомню, что никогда еще не была "менти"🌷. Ждала очередь к именно к этому ментору с прошлого года, очень хотела, потому что сейчас в работе я AB не применяю, но отлично знаю, где могла бы в рамках даже текущих задач, ну и в целом хочу наконец подтянуть практическую часть. ❓ Проблема в том, что из-за того, что ничего не применяю, всё выветрилось, последний собес по AB-тестам был год назад и я уже ничего не помню из не только из каких-то особенностей но и даже какой-то базы, возможно, не помню какие подводные камни бывают в процессе, крч, чувствую, что куда-то испарилось все со временем и мне это не нравится. 🗓 Поэтому ментор нужен не просто так, а вот зачем: Во-первых, чтобы кто-то опытный ткнул пальцем в слабые места, которые я сама уже не вижу, самооценка в таких штуках часто врёт: кажется, что знаешь, а на простом вопросе ломаешься. Во-вторых, чтобы разобрать реальные кейсы, а не абстрактные задачи из учебников, когда данные живые, там всегда куча «но»: нарушенные допущения, пересекающиеся эксперименты, бизнес-ограничения. В-третьих, чтобы набить руку перед следующими собеседованиями, даже если сейчас AB не нужен, завтра может понадобиться, а готовиться в последний момент – это стресс и плохая идея. ✍️ У меня в планах: пройти пару тестовых собесов и кейсов, пробежаться по теории, проработать слабые места, обсудить несколько реальных кейсов из работы от дизайна до результата. Всё это ради одного: чтобы уверенности стало больше (у меня вообще с этим проблемы, да). Ментор внутренний, из Авито, так что проблемы с секретными данными нет, можно копать честно и глубоко. Почему пишу об этом? Чтобы вы, если тоже в такой же ситуации, знали – это нормально: чего то не знать, не применять на практике, готоиться заранее и понимать свои слабые места и работать над тем, чтобы они стали вашим преимуществом. Расскажу потом, что получилось, а что нет, что мне даст этот опыт. Самой оооочень интересно! ❓ А у вас был опыт работы с ментором (или может вы сами ментор)? Зашло или нет, было ли полезно?
Открыть в Telegram📕 Метрики качества для регрессии 1️⃣MAE – средняя абсолютная ошибка Считаем разницу между предсказанием и реальностью, берём по модулю и усредняем результат. Почему именно модуль? Потому что без него положительные и отрицательные ошибки сократятся, например: ошибки +500 и -500 дадут в сумме 0, кажется, что наша модель «идеальна», хотя это не так. Модуль убирает знак и показывает реальный размер промаха. Пример: ошибки: 300 тыс., 50 тыс., 1 млн MAE = (300 + 50 + 1000) / 3 = 450 тыс. ✅ Не боится выбросов (один дикий промах не размажет всю картину) ✅ Интуитивно понятно интерпретировать: «в среднем ошибаемся на 450 тысяч» ❌ Не показывает, куда чаще ошибается модель (вверх или вниз) 2️⃣ RMSE – корень из средней квадратичной ошибки Разницу возводим в квадрат, также усредняем и извлекаем корень. Почему квадрат, а не модуль? Потому что квадрат сильнее наказывает за крупные ошибки: ошибка 1000 в квадрате = 1 000 000 ошибка 100 в квадрате = 10 000 Разница в 100 раз, хотя сами ошибки отличаются только в 10 раз, модель будет всеми силами избегать фатальных промахов. Тот же пример: RMSE = 300² + 50² + 1000² ≈ 603 тыс. ✅ Жёстко штрафует за крупные промахи ✅ Любима математиками (хорошо дифференцируется) ❌ Очень чувствительна к выбросам (один совсем дикий выброс всё испортит) 3️⃣MAPE — средняя абсолютная ошибка в процентах Считаем, на сколько процентов модель промахнулась и усредняем. Пример: квартира за 10 млн, предсказали 10,5 млн → 5% квартира за 1 млн, предсказали 1,5 млн → 50% среднее = 27,5% Почему это полезно? Ошибка в 500 тыс – это катастрофа для дешёвой квартиры и ерунда для дорогой, а проценты приводят всё к общему знаменателю. ✅ Можно сравнивать модели на разных масштабах (рубли, доллары, штуки) ✅ Проценты – это наглядно и просто даже для тех, кто не в теме ❌ Взрывается, если реальное значение близко к нулю: например: реально 0,001, предсказали 0,002 тут ошибка 100% (хотя разница копеечная) ❌ Перепрогноз и недопрогноз дают разный процент при одинаковом модуле 4️⃣R² – коэффициент детерминации Сравниваем модель с «глупой», где глупая модель всегда предсказывает среднее значение. Формула: R² = 1 — (ошибки твоей модели) / (ошибки глупой модели) Почему R² может быть отрицательным? Если модель ошибается сильнее, чем просто среднее, например, данные хаотичные, а ты добавил шумовые признаки и модель переобучилась, глупая модель скажет «в среднем 50», твоя скажет «то 100, то -100» и ты окажешься хуже. R² = 1 – идеал R² = 0 – как среднее (бесполезно) R² < 0 – модель хуже, чем ничего Пример интерпретации: R² = 0,87 значит, что модель объяснила 87% изменчивости данных. ✅ Удобно сравнивать модели на одном датасете ✅ Все его примерно понимают ❌ Если добавить мусорные признаки R² всё равно не упадёт (или даже вырастет) ❌ Ничего не говорит про реальный размер ошибки 5️⃣Adjusted R² – исправленный R² То же самое, но штрафует за лишние признаки. Формула (просто чтобы знали): Adjusted R² = 1 — (1 — R²) × (n — 1) / (n — k — 1) где n — количество наблюдений, k — количество признаков Почему это работает? Чем больше признаков k, тем меньше знаменатель и тем сильнее штраф, если добавить бесполезный признак - то R² пожет подрости, но Adjusted R² упадет. ✅ Честно показывает, когда ты перебираешь с признаками ✅ Помогает при отборе признаков (feature selection) ❌ Чуть сложнее для объяснения новичкам 🔓 Коротко о главном MAE и RMSE показывают размер ошибки (первые смотрим) R² показывает долю объяснённой изменчивости (смотрим вторым) MAPE – для процентов и сравнения масштабов Adjusted R² – когда подозреваешь, что признаков слишком много Но никогда не смотри только на R²: R² отвечает на вопрос:«Насколько модель лучше, чем просто среднее?», R² НЕ отвечает на вопрос:«Насколько велики ошибки модели в реальных цифрах?».
Открыть в Telegram🤔 Что у меня с алгоритмами? В посте уже говорила, что никогда не ходила на собеседования в Яндекс, но вот недавно решила: «А почему бы собственно и нет?» Но я максималист и очень не люблю проигрывать, не люблю отказы и всё такое, это качество часто мне мешает, но иногда и помогает. Поэтому на собес в Яшку я пока не пойду❣️ Затооо! Пойду на курс по алгоритмам🎉 ✍️ Как всё случилось: HR Яндекса скинула мне материалы для подготовки, всё рассказала и тут я поняла: я никогда не готовилась к алгосам. Прям вот вообще никогда и почувствовала слабое место (читай: точку роста), и вот я уже сижу и думаю, что с этим делать. Думать, честно говоря, долго не пришлось, потому что все мы знаем, куда идти за курсами по алгоритмам ✍️ 💬Что за курс? Буду краткой – курс Глеба Михайлова(всегда знала, что мне идет леопардовый 🐆) И вот я уже жду 6 апреля, чтобы закрыть этот свой пробел в знаниях. Курс длится 4,5 месяца иногда буду рассказывать тут о своих успехах (надеюсь успехах). 👍 Что меня зацепило: - в програме нет ничего лишнего, всё по факту и обучение в привычном формате «спринтов»; - судя по программе и отзывам, там много практики, разобрано много задач с LeetCode, причём именно те, которые чаще всего дают на собесах, то есть курс основан на том, что реально востребовано в топ-компаниях, и на том, что действительно пригодится - обещают постепенное усложнение, начинается с супер простых задач и плавно доходит до динамического программирования (самой жести), без резких скачков, когда на третьей неделе уже ничего не понятно - Глеб практик с многолетним опытом в IT (Альфа, Сбер, Яндекс), а не просто "очень хорошо знает теорию", для меня это самый жирный плюс ➕ ✅ Что жду на выходе: - закрою гештальт «не умею в алгосы – значит я не настоящий специалист»(синдром самозванца на месте); - перестану чувствовать страх перед задачами с LeetCode и алгоритмическими секциями; - дам мозгу новую полезную нагрузку (а то заскучал уже без разнообразия). Кароче, буду делиться успехами (надеюсь, что они будут) 🔥🗓
Открыть в Telegram📐 Множественная линейная регрессия Множественная линейная регрессия – это расширение простой линейной регрессии на случай с несколькими независимыми переменными (предикторами). Пост про линейную регрессию. Что даёт метод: ➖Учёт комплекса факторов – прогнозы строим на основе множества признаков одновременно; ➖Оценка изолированного влияния каждого предиктора (при контроле остальных); ➖Повышение точности прогнозов по сравнению с одномерными моделями. 📌 Математическая основа Это уравнение вида: Y = β₀ + β₁X₁ + β₂X₂ + ... + βₙXₙ + ε Где: Y – зависимая переменная (то, что предсказываем) X₁...Xₙ – независимые переменные (предикторы) β₀ – интерсепт (значение Y, когда все предикторы равны нулю) βᵢ – коэффициенты регрессии (ожидаемое изменение Y при увеличении Xᵢ на 1 единицу, при неизменных остальных) ε – случайная ошибка (шум, который модель не может объяснить, даже если хочет) 🕯 Как находятся коэффициенты? Метод наименьших квадратов – он же минимизация суммы квадратов остатков (ε). Тут используем матричное решение: β̂ = (XᵀX)⁻¹Xᵀy Где: X – матрица признаков (с добавленным столбцом единиц для интерсепта) y – вектор целевых значений 🟢 Подготовка данных Разделение данных – деление на обучающую и тестовую выборки, модель обучается на одной части, проверяется на другой (которую «не видела»). Это помогает оценить работу с новыми данными и избежать переобучения. Категориальные переменные – линейная регрессия работает только с числами, а категории преобразуются, например, через One-Hot Encoding (каждая категория это отдельный столбец из 0 и 1), или Label Encoding – где каждой категории присваивается число (1, 2, 3...) или же Target / Mean Encoding, когда категория заменяется средним значением целевой переменной по этой категории (требует осторожности с переобучением). Масштабирование признаков – стандартизация (приведение к нулевому среднему и единичной дисперсии) полезна для интерпретации коэффициентов и ускорения вычислений. ⚠️ Важные ограничения, о которых нужно знать - Мультиколлинеарность – сильная корреляция между предикторами делает оценки коэффициентов ненадёжными. - Выбросы – модель очень чувствительна к ним, их нужно выявлять и обрабатывать. - Размер выборки – чем больше признаков, тем больше данных требуется для надёжной оценки. - Сложность модели – больше признаков не всегда лучше, качество всегда нужно проверять на тестовой выборке. 🎯Итак, множественная линейная регрессия – это мощный и интерпретируемый инструмент анализа данных, возможность сказать: «при увеличении X₁ на единицу Y изменится на β₁, при неизменных остальных факторах». А также это фундамент для понимания более сложных методов: Ridge, LASSO (пост), нейронных сетей. Ставь 👍, если пост полезен и 🔥 если любишь эконометрику А если нужна более подробная статья-разбор с кодом и данными – по традиции ➕ в комментарии, отправлю ссылочку 👍 #аналитика #ml
Открыть в Telegram