Система аналитики в реальном времени на 5 млрд событий в день c помощью ClickHouse

Platform Engineering

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Классное практическое пособие, как из готовых и бесплатных решений относительно быстро собрать аналитическое решение, которое подойдет для большинства компаний.

Целевая аудитория

Дата инженеры, архитекторы и PO платформ данных, лиды инженерных команд

Тезисы

SaluteEye - платформа продуктовой аналитики. Собираем события с умных устройств Сбера и других источников, обрабатываем и предоставляем для аналитики и мониторинга технических показателей продуктов. Сегодня мы собираем и обрабатываем более 5 млрд событий в день и храним в быстром доступе аналитиков более 200 Тб, но так было не всегда...
В докладе поделюсь историей эволюции нашей системы и опытом внедрения ClickHouse для аналитики около реального времени. Зачем мы это делали, с какими вызовами столкнулись и что не учли, как контролируем рост и масштабируемся.

Андрей Березин

Сбер (SberDevices)

Более 10 лет работаю с самыми разными людьми, с 2021 года - в сфере IT.
В настоящее время руковожу разработкой платформы данных в Сбере (SberDevices), состоящей из нескольких продуктов и команд разработки - добываем новую нефть, обеспечиваем аналитику умных устройств и других продуктов Сбера, готовим данные для GigaChat.

Видео