Опыт миграции данных из Oracle через Debezium в PostgreSQL: 200+ связанных таблиц одним махом
Мнение Программного комитета о докладе
Решили уехать с Oracle на PostgreSQL, но у вас терабайты данных, сотни миллионов пишущих транзакций в день и сотни таблиц, а время простоя при переключении должно быть меньше нескольких часов. Все ответы на вопрос, как это сделать, в докладе Владимира.
Целевая аудитория
Инженерам и архитекторам, которые: - выбирают решение для миграции данных из одной СУБД в другую; - работают с высоконагруженными системами; - планируют миграцию монолитных решений.
Тезисы
Как подготовить Debezium и Oracle для миграции данных в системе авторизации Госуслуг: 200 таблиц, 10 ТБ данных, 200 млн пишущих транзакций в день.
Разберем: - Почему Debezium, а не триггеры или event-sourcing. - Основные проблемы: LOB-данные, длинные транзакции, SCN-шторм в Oracle и падения коннекторов. - Снятие снапшотов — доработка под большие таблицы, настройка и эффективная стратегия. - Трансформация данных на лету в пайплайне Debezium. - Подготовка Oracle и PostgreSQL для майнинга данных. - Настройка и доработка Debezium, и как масштабировать source connector вопреки документации. - Метрики мониторинга и допустимое время восстановления. - Какие доработки пришлось сделать, чтобы реализовать CI/CD по всем стендам - План — с чего начать, что проверять, как дорабатывать.
Спикеры
РТЛабс
