Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Репликация данных из MySQL в ClickHouse в реальном времени для плавной миграции аналитики из MySQL в ClickHouseБазы данных и системы хранения

Доклад принят в программу конференции
Владислав Клименко
Altinity

Software Developer.

vladislav@altinity.com
Валерий Панов
Ivinco

Admin Team Lead.

valery@ivinco.com
Тезисы

Многие компании до сих пор строят аналитику по данным, хранимым в MySQL. При этом активно применяются различные предвычисления для ускорения процесса. ClickHouse позволяет выполнять аналитические запросы очень быстро по исходным данным. Система линейно масштабируемая и способна работать с триллионами записей.

Но есть сложность: данные, как писались в MySQL, так и пишутся. Переделывать исходную систему не всегда просто и чревато рисками. Можно ли как-то перенести аналитику на ClickHouse с минимальными модификациями MySQL-системы?

Решением видится фоновое копирование вида «из БД в БД». Это возможно сделать двумя способами:
1. Встроенными средствами ClickHouse, в котором уже есть средства для работы с MySQL.
2. Используя репликатор MySQL → ClickHouse, который подключается к MySQL как replication slave и получает данные на лету, сразу же перекладывая их в ClickHouse, возможно, с дополнительной обработкой.

В докладе будут подробно рассмотрены эти способы, описана утилита репликации из MySQL в ClickHouse от Altinity, а также представлен реальный сценарий переноса аналитики из MySQL в ClickHouse через репликацию, успешно реализованный в компании Ivinco.

Миграции данных
,
Базы данных / другое
,
Внедрение и поддержка
,
MySQL (MariaDB, Percona Server)

Другие доклады секции Базы данных и системы хранения

Rambler's Top100