Мнение Программного комитета о докладе
Необходимость мультитенантной Grafana — боль очень многих проектов. Максим Лапшин расскажет об их подходе к снаряду и о том, что из этого получилось в продакшене Эрливидео.
Онлайн-анализатор миллиона видеостримов: как положить в ClickHouse 2 млрд записей в сутки и собрать их в мультитенантную Grafana
Доклад принят в программу конференции
Целевая аудитория
Разработчики и архитекторы систем, которые находятся в состоянии выбора инструментов для observability.
Тезисы
Мы разработали решение, анализирующее структурную целостность около миллиона видеопотоков одновременно.
Это поток в 2 млрд строк в Clickhouse в сутки. Эти данные просматривают люди через Grafana, адаптированную для мультитенантного доступа, и роботы, присылающие алерты в системы мониторинга клиентов.
В докладе технические детали:
* Запись в БД с множества версий нашего видеостримера.
* Организация стейджинга, тестов и подбор железа под БД.
* Чтение из кликхауса: как прикидываться прометеусом.
* Связь личного кабинета с Grafana, интеграция пользователей и ограничение доступа к данным.
* И на сладкое: как все это развернуть on-prem в редуцированном виде.
Давно занимается потоковой передачей видео (videostreaming).
Видео
Другие доклады секции
Data Engineering
