Система аналитики в реальном времени на 5 млрд событий в день c помощью ClickHouse

Platform Engineering

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Классное практическое пособие, как из готовых и бесплатных решений относительно быстро собрать аналитическое решение, которое подойдет для большинства компаний.

Целевая аудитория

Дата-инженеры, архитекторы и PO платформ данных, лиды инженерных команд.

Тезисы

SaluteEye — платформа продуктовой аналитики. Собираем события с умных устройств Сбера и других источников, обрабатываем и предоставляем для аналитики и мониторинга технических показателей продуктов. Сегодня мы собираем и обрабатываем более 5 млрд событий в день и храним в быстром доступе аналитиков более 200 Тб, но так было не всегда...

В докладе поделюсь историей эволюции нашей системы и опытом внедрения ClickHouse для аналитики около реального времени. Зачем мы это делали, с какими вызовами столкнулись и что не учли, как контролируем рост и масштабируемся.

Андрей Березин

Сбер (SberDevices)

Более 10 лет работает с самыми разными людьми, с 2021 года — в сфере IT.
В настоящее время руководит разработкой платформы данных в Сбере (SberDevices), состоящей из нескольких продуктов и команд разработки — добывают новую нефть, обеспечивают аналитику умных устройств и других продуктов Сбера, готовят данные для GigaChat.

Видео