Как мы без downtime шардировали и мигрировали MongoDB на 20ТБ

Базы данных и системы хранения

Миграции данных
MongoDB
GO

Доклад принят в программу конференции

Целевая аудитория

Доклад будет полезен инженерам и DBA, которые сталкиваются с задачами миграции больших объемов данных, решардирования и минимизации downtime

Тезисы

Авито постоянно растет и по мере этого роста появилась у нас задача: пришлось перевозить наши БД размером от 1 ТБ до 5 ТБ с наших больших и быстрых LXC на маленькие и медленные DBaaS-коробочки до 300 ГБ. В докладе расскажу, как именно мы с этим справились и какие «подводные камни» встретились на пути.

Для переезда нам понадобилось решардироваться в два-четыре раза, а также поменять ключи шардирования. Мы провели ресерч актуальных инструментов и по его итогам выбрали MongoShake. Мы его улучшили, добавив возможность репликации в несколько БД с новым ключом шардирования. Это помогло избежать написания скриптов и многочасового даунтайма для переезда.

Senior Backend Engineer в Авито команде Автозагрузки

Видео

Другие доклады секции

Базы данных и системы хранения