Онлайн анализатор миллиона видеостримов: как положить в кликхаус 2 млрд записей в сутки и достать в мультитенантную графану
Доклад принят в программу конференции
Целевая аудитория
Разработчики и архитекторы систем, которые находятся в состоянии выбора инструментов для observability
Тезисы
Мы разработали решение, анализирующее структурную целостность около миллиона видеопотоков одновременно.
Это поток в 2 млрд строк в Clickhouse в сутки. Эти данные просматривают люди через Grafana, адаптированную для мультитенатного доступа и роботы, присылающие алерты в системы мониторинга клиентов.
В докладе технические детали:
* Запись в БД с множества версий нашего видеостримера
* Организация стейджинга, тестов и подбор железа под БД
* Чтение из кликхауса: как прикидываться прометеусом
* Связь личного кабинета с графаной, интеграция пользователей и ограничение доступа к данным
* И на сладкое: как всё это развернуть on-prem в редуцированном виде
Давно занимается потоковой передачей видео (videostreaming).
