2,5 млрд событий в день в DWH онлайн и без потерь: архитектура EventStream из Kafka в ClickHouse
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Доклад будет полезен опытным DWH-командам, которые уже доставляют большие объемы данных в хранилище, а также командам, которые только проектируют архитектуру нового решения. Он поможет заранее учесть эксплуатационные нюансы, выбрать подходящую архитектуру и сформировать у бизнеса реалистичное понимание возможностей и ограничений доставки данных.
Тезисы
- Проблемы стриминговой загрузки: почему нативная связка Kafka Engine + Materialized View плохо подходит для потоков в миллиарды событий в день и какие ограничения проявляются на production-нагрузке.
- Переход к управляемому ingestion layer: как мы убрали ClickHouse из роли Kafka-consumer и оставили ему то, что он делает лучше всего: принимать крупные батчи и быстро записывать данные в MergeTree. Управление offsets, батчами, ретраями, трансформациями и backpressure вынесли в отдельный слой загрузки.
- Границы применимости стриминга: почему стриминг не закрывает все потребности бизнеса, что делать с тяжелыми пересчетами и историческими данными, и как в таких сценариях помогает связка Spark + Iceberg.
Около 10 лет в IT. Data Partner в Magnit Omni, руковожу сильной командой data-инженеров и системных аналитиков. Реализовал бесшовную миграцию клиентских событий мобильного приложения с одного источника на другой: 3 ТБ данных в сутки и 2,5 млрд событий в день. Выпускник МФТИ, жму 120 кг от груди.
Видео
Другие доклады секции
Базы данных и системы хранения
