Бэкап-апокалипсис: ищем альтернативные решения для БД размером в 100+ терабайт, когда стандартные решения бессильны!

Стандартные инструменты резервного копирования полностью пасуют, когда объем базы данных переваливает за сотню терабайт. Логические дампы и классическое копирование файлов превращаются в бесконечный процесс длиной в сутки, который уничтожает производительность дисков, перегружает процессоры и гарантированно срывает RTO. В случае масштабной аварии восстановление распределенной системы может затянуться на недели, что неприемлемо для бизнеса. В докладе мы разберем реальный опыт эксплуатации сверхкрупных распределенных СУБД на базе MongoDB и Cassandra и найдем альтернативные решения для защиты данных с минимальным влиянием на продуктив.

Вот основные тезисы доклада:

1. Проблема: Почему стандартные утилиты неприменимы на огромных объемах. Физические ограничения дисковой подсистемы и иллюзия безопасности бэкапов.
2. Инфраструктурный путь: Создание мгновенных снимков файловой системы через LVM-снапшоты на изолированных репликах. Математика капасити-планирования: формулы расчета прироста дисковой нагрузки (RPS) и идеального сайзинга области изменений. Опасности скрытой нагрузки механизмов Copy-on-Write и жесткий тротлинг процессов на уровне ядра Linux.
3. Эксплуатационные хаки: Риски нарушения консистентности распределенных данных и появление orphaned-документов при восстановлении. Использование встроенной репликации для бэкапа и физическое клонирование файлов реплик с попутным решением проблемы дефрагментации.
4. Нативный NoSQL-подход: Организация параллельного распределенного бэкапа по диапазонам токенов в Cassandra для линейного масштабирования скорости.
5. Инфраструктура хранения: Сравнение объектных хранилищ, сетевых шар и распределенных файловых систем для эффективного размещения бэкапов.
6. Сравнение подходов и матрица выбора решений.

Выводы и заключение: Бэкап огромных БД – сложная техническая задача, так как стандартные подходы и инструменты не работают. Без применения нестандартных подходов риск потери данных становится неприемлемым.