Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь, когда у тебя сотни терабайт данных

Базы данных и системы хранения

Хранилища данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад о том, как с помощью подхода Change Data Capture (CDC) оперативно обновлять данные из терабайтных инсталяций MongoDB в различных аналитических хранилищах. Обзор других подходов синхронизации аналитических хранилищ, их плюсы и минусы по сравнению с CDC.

Целевая аудитория

Архитекторы, разработчики, DBA, DevOps.

Тезисы

В современном мире ни один средний или крупный IТ-проект и/или решение не обходится без аналитики. В высоконагруженных информационных системах с большим объемом данных это особенно актуально.

Аналитическая подсистема позволяет анализировать как данные, поступающие в реальном времени, так и исторические данные, диагностировать проблемы, выявлять тренды, строить прогнозы и планы на будущее, список можно продолжать бесконечно… Казалось бы, в чем тут проблема? Прикрути BI-систему и строй себе отчеты на оперативных данных. К сожалению, когда речь заходит про объемы данных, характерные для систем класса BigData, то это перестает работать и нужно строить отдельный аналитический кластер, который синхронизируется с оперативным хранилищем.

Почему не работает подход с единой СУБД при очень больших объемах данных и как сделать так, чтобы данные в аналитическом слое не отставали от оперативных и при этом не растерять эти данные по дороге, я расскажу в своем докладе.

CTO компании STM Labs.

STM Labs

STM Labs — российский разработчик программного обеспечения. Умеют всё: от проектирования и создания высоконагруженных систем до приложений и интеграции. Более 10 лет компания STM Labs реализует проекты и создает IT-решения различной сложности для бизнеса, в том числе применяя собственную платформу flexiflow.

Видео