❤️ Что зарезервировать, чтобы пережить потерю ЦОДа: памятка
За неделю из строя вышли три площадки Яндекса: Сасово, Калуга и Владимир. Yandex Cloud перешёл в аварийный режим. К сожалению, быстро восстановить работу проекта в такой ситуации помогает только наличие резерва и/или бэкапов у другого провайдера.
Мы подготовили для вас памятку: Что можно и нужно проверить сейчас, чтобы в случае подобного форс-мажора иметь возможность быстрого восстановление проекта.
Бэкапы должны храниться у другого провайдера или на собственном оборудовании вне основного дата-центра.
➡️Что обязательно нужно сохранить
1. Базы данных
• Полные бэкапы PostgreSQL, MySQL и других используемых СУБД.
• Журналы транзакций (WAL, binlog), если важно восстановление на конкретный момент.
• Конфигурации СУБД, роли, права и расширения.
• Для критичных систем в иделе иметь реплику у независимого провайдера.
Важно: автобэкапы managed-баз не заменяют независимую копию.
2. Файлы и объектные хранилища
• Пользовательские загрузки, документы, медиафайлы.
• Содержимое S3-бакетов и файловых хранилищ.
• Данные с постоянных дисков, которые нельзя воссоздать автоматически.
На резервном хранилище включите версионирование и, по возможности, защиту от удаления (Object Lock).
3. Код и CI/CD
• Git-репозитории, включая историю и теги.
• Конфигурации пайплайнов.
• Настройки CI/CD, раннеров и интеграций.
• Необходимые переменные и секреты — в отдельном защищённом хранилище.
4. Docker-образы и зависимости
• Все образы, которые сейчас используются в production, с точными версиями или digest.
• Собственные базовые образы.
• Критичные пакеты и зависимости, если их повторная загрузка не гарантирована.
5. Конфигурации инфраструктуры
• Terraform, Ansible, Helm charts и values.
• Terraform state.
• Конфигурации Nginx, HAProxy, приложений и балансировщиков.
• Сетевые настройки, правила firewall, маршрутизацию.
6. Секреты, ключи и сертификаты
• Секреты приложений и сервисных аккаунтов.
• Ключи шифрования резервных копий.
• TLS-сертификаты или механизм их автоматического перевыпуска.
7. Очереди, кеши и другие stateful-сервисы
• RabbitMQ, Kafka: конфигурации, топологию, права и критичные данные, если их необходимо сохранить.
• Redis: настройки и резервные копии, если он используется не только как кеш.
• Поисковые индексы и другие хранилища, которые невозможно быстро пересоздать.
8. Внешние интеграции и сетевые соединения
Составьте и сохраните вне основной инфраструктуры список внешних сервисов, с которыми взаимодействуют ваши приложения. С кем интегрированы: внешние API, платёжные системы, партнёры, SaaS-сервисы и другие системы.
Для каждой интеграции зафиксируйте:
- Адреса, порты, протоколы и направления соединений.
- Используемые IP-адреса и правила whitelist.
- VPN-туннели, приватные соединения и маршруты.
- Конфигурации подключений и необходимые сертификаты.
- Контакты технических специалистов и ответственных со стороны партнёров.
Отдельно: если у вас Kubernetes
Для восстановления Kubernetes недостаточно сохранить манифесты приложений.
Проверьте, что у вас есть:
• Описание инфраструктуры: Terraform или другие инструменты для создания нового кластера, сетей, узлов и балансировщиков.
• Бэкапы Persistent Volumes: независимые копии данных, а не только снапшоты дисков текущего облака.
• План развёртывания: порядок восстановления системных компонентов, операторов, баз данных и приложений.
Если кластер managed, отдельно проверьте, что его можно создать у другого провайдера, а приложения не зависят от специфичных сервисов текущего облака.
➡️Что сделать прямо сейчас, если времени мало?
1. Выгрузить актуальные резервные копии баз и критичных файлов на независимую площадку.
2. Сохранить production-образы и убедиться, что доступны исходный код и конфигурации.
3. Проверить доступность секретов, ключей шифрования, DNS и административных учётных записей.
4. Зафиксировать порядок восстановления и ответственных.
5. Проверить восстановление хотя бы одного критичного сервиса из резервной копии.