Как мы без downtime шардировали и мигрировали MongoDB на 20 ТБ

Базы данных и системы хранения

Миграции данных
MongoDB

Доклад принят в программу конференции

Целевая аудитория

Доклад будет полезен инженерам и DBA, которые сталкиваются с задачами миграции больших объемов данных, решардирования и минимизации downtime.

Тезисы

Авито постоянно растет, и по мере этого роста нам пришлось перевозить наши шардированные БД размером от 1 ТБ до 5 ТБ с больших и быстрых Bare Metal на маленькие и медленные K8s-коробочки до 300 ГБ. В докладе расскажу, как именно мы с этим справились и какие «подводные камни» встретились на пути.

Для переезда нам понадобилось решардироваться в два-четыре раза, а также поменять ключи шардирования. Мы провели ресерч актуальных инструментов и по его итогам выбрали MongoShake. Мы его улучшили, добавив возможность репликации в несколько БД с новым ключом шардирования. Это помогло избежать написания скриптов и многочасового даунтайма для переезда.

Senior Backend Engineer в команде Автозагрузки в Авито.

Видео

Другие доклады секции

Базы данных и системы хранения