Типичный Сисадмин

💥 Эпоха суверенного облака ВСЁ? Третий пошел... Владимирский дата-центр Яндекса остановлен после прилета. Еще недавно мы мрачно шутили, что у Яндекса остался последний серьезный нетронутый оплот во Владимире и если прилетит туда - наступит цифровой каменный век? Шутка прожила ровно 48 часов. В воскресенье утром появляется алёрт: ...дата-центр Яндекса во Владимире поврежден атакой БПЛА, его работа ПОЛНОСТЬЮ остановлена. Сасово (ru-central1-b) сгорело в четверг, Калугу (ru-central1-d) ополовинило в пятницу, Владимир (ru-central1-a) заглушен в воскресенье. Три опорных дата-центра национального бигтеха за четверо суток ⚰️ А вместе с владимирской площадкой окончательно погас Галушкин - последний из тройки легендарных суперкомпьютеров Яндекса (Червоненкис и Ляпунов пострадали еще в Сасово). Весь топовый суперПКшный флот страны, годами штурмовавший мировой рейтинг TOP500 буквально за выходные выпал. 😱 А самая жопа вот в чем... Яндек пишет: Оставшуюся конфигурацию ресурсов считаем неустойчивой. Режим работы платформы является аварийным — рекомендуем задействовать любые другие альтернативные планы по аварийному восстановлению Облако мертво, кворума нет, спасайтесь кто может. Что сейчас еще трепыхается на остатках мощностей в раненой Калуге и Мытищах... выглядит это как сводка из реанимации: 🟢Базы данных в коме... из-за физической потери двух зон из трех большинство HA-кластеров словили split-brain. Те базы, что чудом не развалились, намертво заблокированы контрол-плейном в режиме ридонли. 🟢S3 Object Storage при смерти... запись новых объектов встала колом, кластер с трудом отдает только старые блобы на чтение. 🟢Кубер... региональные кластеры, чьи мастера etcd хотя бы одной ногой стояли во Владимире или Сасово, превратились в пустоту без возможности восстановления конфигурации. 🟢Каналы поддержки Яндекса… упали сами. Статус-борд обновляется с задержками, тикетница задохнулась, достучаться до инженеров невозможно. Жопа лютая. Яндекс за 4 дня сложился... 🤙 А сейчас вообще больно... патформа лишилась флагманской AliceAI Pro, распознавания документов OCR, аналитики SpeechSense и векторного Retrieval API - из генеративки на искусственном дыхании остались лишь урезанные легковесные флеш-модели. Стек ИБ выкошен под корень... собственный SIEM, аудит-логи и мониторинг угроз YCDR светятся мертвым красным кружком. Систему больше некому и не на чем даже защищать. Это тектонический финал целой эпохи. За 96 часов на наших глазах в пыль рассыпался красивый миф о том, что модные микросервисы, георезерв и программные абстракции способны пережить физическое уничтожение наземных ангаров. З.Ы. В четверг Яндекс учил нас переносить нагрузку в соседние зоны. В пятницу - советовал брать дедики Bare Metal и бежать по промокоду к конкурентам. В воскресенье - признал, что платформа неустойчива и спасения нет. Кажется, скоро наступит то самое время, о котором я шутил в бугурт-тредах... выдергиваем патчкорды, достаем дискеты и учимся выживать в лесу. Помянем усопшие кластеры не чокаясь 🍺 Типичный 🥸 Сисадмин

🔥 Каскадный коллапс Рунета. Мрачные прогнозы воплотились. Первопричиной цифрового домино стал кинетический импакт от удара беспилотников по ДЦ Яндекса в рязанском Сасово... на объекте начался пожар, и площадку пришлось полностью обесточить и заглушить. Инженеры Yandex Cloud написали о потере одной зоны доступности и начали экстренную переброску мощностей и терабайтов живого трафика в резервные кластеры. Но в распределенных сетях чудес не бывает... законы физики и пропускной способности каналов нельзя отменить директивой руководства 😶 Когда огромная цифровая экосистема начинает единовременно перенаправлять колоссальные потоки данных между регионами, на смежных узлах связи и точках обмена начинается тектонический сдвиг. Рикошетом накрыло Selectel, на котором висит добрая треть коммерческого Рунета. Около четырех часов дня на их статусной странице замигал красный алерт 🚨... не выдержала система фильтрации трафика DDoS Curator. Архитектурная ирония ситуации в том, что защита от DDoS создана для отсева мусорных сетевых пакетов, но когда аварийный трафик с перегруженных узлов и соседних ДЦ начинает лавинообразно перестраивать маршруты, скрубберы фильтрации сами превращаются в узкое горлышко. Как только ложится защитный шлюз, весь трафик клиентов либо улетает в пустоту, либо запросы упираются в мертвую стену таймаутов. В итоге клиенты облака легли синхронно, породив идеальный шторм отказов по всей стране. З.Ы. Похоже, в смету на колокейшна пора вносить бронированные колпаки на крышу серверной. Типичный 🥸 Сисадмин

🔥 Рунет уходит в 429 Too Many Requests, а до национализации Яндекса осталось… 3… 2… Как прозорливо ванговал верный подписчик Михаил еще две недели назад (да даже больше)... "Осталось две недели... вы не слушали!" - всё, пацаны, IT'S OVER. Пророчество сбывается. После того как во Владимире погас последний опорный ДЦ начался инфернальный паралич всего потребительского сектора страны 😭 Взгляните на графики мониторингов... это выглядит как клиническая смерть. За Яндексом в братскую могилу улетела половина розничной экономики: 🟢Яндекс Еда в Москве тупо не показывает рестораны, заказчики сосут лапу, курьеры сидят на бордюрах. Вкусно и тошка с Магнитом синхронно легли рядом. 🟢Такси отваливаются, в Москве, Сибири, Владивостоке, в Армении, Сербии, Беларуси и Казахстане пользователи видят ошибку "001-429: Попробуйте через 5 минут" и пустые серые полигоны вместо карты. 🟢Яндекс Пэй схватил инфаркт, заблокировав доступ к деньгам на кассах. Не работают Fix-Price, Flowwow, фитнесы DDX, Спортс и даже серверы War Thunder с Россельхознадзором. Вся цифровизация оказалась привязана к трем советским заводам в радиусе трехсот километров от МКАДа. И когда эти три площадки поймали маслины, внезапно выяснилось что ты не можешь ни вызвать колёса, ни хлопнуть бургера, ни сходить в качалку... микросервисы схлопнулись в одну черную дыру. И на этом фоне вспомним свежий указ №604, который разрешает вводить временное госуправление над объектами КИИ. Повод-то сходится идеально... не осилил защиту от БПЛА, пролюбил киберустойчивость и допустил критический даунтайм. Как думаете, сколько часов непрерывного паралича нужно, чтобы признать руководство компании "не справившимся с защитой инфраструктуры" и передать Яндекса на баланс какого-нибудь суверенного ФГУПа? А зима близко... шуршащий наличный кэш и дрова звучат уже не так бредово 😬 Типичный 🥸 Сисадмин

🚨 Как один из крупнейших хостеров Рунета отстрелил себе сеть (и заодно DNS). Тотальный блэкаут Beget. Утро понедельника для тысяч бизнесов и эникеев по всей стране началось с массового алёрта. Beget, который годами славился топовым аптаймом и ламповой поддержкой, совершил жесткое, неконтролируемое погружение на дно. Около 2-3 ночи (МСК) у провайдера начинает сыпаться сеть. Сначала деградируют базы данных MySQL, затем отваливается панель управления, а к 8 утра легло абсолютно ВСЁ. Виртуальный хостинг, VPS, почта, панель управления, биллинг и DNS-серверы. Саппорт открестился от хацкеров, вирусов, кинетических прилетов по ЦОДу и происков РКН: Проблема носит комплексный характер и затрагивает все уровни архитектуры. Инженеры выполняют ручную настройку инфраструктуры непосредственно в дата-центрах. Вероятнее всего это суицид SDN или фатальная ошибка маршрутизации. Кто-то глубокой ночью решил накатить небольшой патч 🎩 на автоматизацию SDN или обновить конфигурацию BGP на core-роутерах. В итоге скрипт отработал так хорошо, что маршрутизаторы отрезали сами себя и всю сеть от внешнего мира. Удаленный доступ отвалился. Единственный способ всё починить - физически ехать в ЦОД, брать монитор + клаву + тележку, втыкаться в стойки руками и откатывать конфиги терминал за терминалом. Отсюда и отсутствие таймингов на восстановление. Куча контор, которые держали сами сайты на сторонних дедиках в Европе или Selectel, сегодня лежат. Потому как домены они делегировали на NS-сервера Бегета. ДНС умер - маршрутизация до живых серверов остановилась ⚰️ Также мелькает инфа, что параллельно лихорадит Честный Знак. Совпадение? Когда падает инфра такого масштаба, каскадный эффект и перестроение маршрутов могут положить соседние узлы обмена трафиком. Инженерам Beget желаю запаса кофэ, валерьянки и прямых рук 🤙 Типичный 🥸 Сисадмин

💥 Следом за Сасово прилетело по ДЦ Яндекса в Калуге. Минус два из трёх. Не прошло и суток как под удар попал крупнейший ДЦ Яндекса в Калуге. Несколько модулей выведены из строя, экстренные службы на месте, сервисы по всей стране снова лихорадит, а масштаб ущерба уточняется. Оцените всю дьявольскую издевку ситуации 👹... ровно вчера, когда в Сасово догорал, техподдержка Яндекса советовала клиентам переносить нагрузку в другие зоны доступности. И тысячи невыспавшихся админов по всей стране, с красными глазами 🤙, раскатывали бэкапы, поднимали поды и переключали трафик… куда? В Калугу и Владимир. И вот, не успел в свежеподнятых базах остыть кэш, как резервная гавань сама ловит новый физический импакт. С точки зрения архитектуры распределенных систем это почти фаталити... любой эникей знает, что для нормального кворума в etcd, распределенной YDB или консенсусах на базе Raft и Paxos требуется правило большинства (N/2 + 1). Для этого региональные облака и строят минимум на трех изолированных зонах доступности. Зона ru-central1-b физически аннигилировала вчера. Сегодня падает калужская зона. Два узла из трех выбыли. Вчерашний совет саппорта про спасаться на дедиках теперь заиграл совсем уж погребальным сарказмом. На каком железе спасаться-то, если его выбивают быстрее, чем админы успевают поправить адреса в куберконфигах? Карточный домик суверенной облачной отказоустойчивости пошатнулся. З.Ы. В строю осталась последняя площадка во Владимире. Инженерам во Владимирской области сейчас хочется пожелать персонального бронированного купола толщиной с бетонную плиту. Потому что если моргнет и Владимир... ⚰️ Типичный 🥸 Сисадмин