Опыт миграции данных из Oracle через Debezium в PostgreSQL : 200+ связанных таблиц одним махом.
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Как подготовить Debezium и Oracle для миграции данных в системе авторизации Госуслуг: 200 таблиц, 10 ТБ данных, 200 млн пишущих транзакций в день.
Разберем: - Почему Debezium, а не триггеры или event-sourcing. - Основные проблемы: LOB-данные, длинные транзакции, SCN-шторм в Oracle и падения коннекторов. - Снятие снапшотов — доработка под большие таблицы, настройка и эффективная стратегия. - Трансформация данных на лету в пайплайне Debezium. - Подготовка Oracle и PostgreSQL для майнинга данных. - Настройка и доработка Debezium, и как масштабировать source connector вопреки документации. - Метрики мониторинга и допустимое время восстановления. - Какие доработки пришлось сделать чтобы реализовать CI/CD по всем стендам - План — с чего начать, что проверять, как дорабатывать.
Ведущий архитектор команды IDM в блоке ЕСИА. Последние 10 лет специализируется на бизнес-процессах и оркестрации: от ITSM и кредитного конвейера до управления данными пользователей в ЕСИА.
Видео
Другие доклады секции
Архитектура и масштабируемость
