Иван Перевощиков на Saint HighLoad++ 2025

Как мы без downtime шардировали и мигрировали MongoDB на 20 ТБ

Базы данных и системы хранения

Миграции данных

MongoDB

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Рассказ о типовой ситуации в большом бизнесе, когда команде приходится решать несколько задач одновременно: переезд базы в Kubernetes для запаса по нагрузке, решардирование со сменой ключа и все это без даунтайма. Спикер покажет, какие инструменты выбрали, как доработали и что получилось.

Целевая аудитория

Доклад будет полезен инженерам и DBA, которые сталкиваются с задачами миграции больших объемов данных, решардирования и минимизации downtime.

Тезисы

Авито постоянно растет, и по мере этого роста нам пришлось перевозить наши шардированные БД размером от 1 ТБ до 5 ТБ с больших и быстрых Bare Metal на маленькие и медленные K8s-коробочки до 300 ГБ. В докладе расскажу, как именно мы с этим справились и какие «подводные камни» встретились на пути.

Для переезда нам понадобилось решардироваться в два-четыре раза, а также поменять ключи шардирования. Мы провели ресерч актуальных инструментов и по его итогам выбрали MongoShake. Мы его улучшили, добавив возможность репликации в несколько БД с новым ключом шардирования. Это помогло избежать написания скриптов и многочасового даунтайма для переезда.

Иван Перевощиков

Авито

Senior Backend Engineer в команде Автозагрузки в Авито.