Гипер-прыжок без Хана Соло и регистрации: как мы сделали свой Go-мигратор – и ускорили перенос почтовых данных в 170 раз

Языки программирования и технические стеки

Миграции данных
GO
Оптимизация

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Go разработчики, архитекторы

Тезисы

Если вы смотрели фантастические фильмы (гикам приготовиться), то наверняка помните сверхскоростные гипер-прыжки, искривляющие пространство и в сотни раз упрощающие любые передвижения. Скажу честно: в процессе перехода на новую почтовую систему такой прыжок бы не помешал.
Тебе сначала нужно найти достойную альтернативу, а потом перенести туда данные из внешней системы — без длинных ожиданий и «котов в мешке». Условные 50 ТБ данных (и это далеко не предел!) могут мигрировать и 4 года, а для бизнеса такое время просто недопустимо.
Специально для нашего почтового сервиса Mailion мы разработали решение, ускорившее процесс миграции данных в 170 раз! Теперь это не просто система логистики, а тот самый гипер-прыжок, которому мог бы позавидовать даже Хан Соло со своим «Соколом» :)
О чём расскажу:
✔ Почему IMAP и стандартные методы не справляются с большими объёмами
✔ Как мы построили многопоточный мигратор и выделенный сервер для обработки
✔ Реальный кейс переноса данных из MS Exchange в Mailion без потерь и простоев
✔ Какие подходы работают для высоконагруженных систем
Доклад будет интересен гошникам всех мастей, которые ценят скорость и работают над миграцией данных в своих продуктах.

Техлид в команде Mailion — корпоративной почтовой системы enterprise-уровня

Видео