От кнопки Play до национальной статистики: путь данных в системе обработки 5 трлн событий в год

Продуктовые решения

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Все, кому интересно как собираются кросс-платформенные рейтинги популярности видеоконтента. Конкретно - Data Engineer, Platform Engineer, Data Architect, Solution Architect, Backend Engineer, Team Lead (data teams), Engineering Manager, DevOps Engineer, SRE, Analytics Engineer.

Тезисы

Mediascope обрабатывает 5+ триллионов событий в год от всех крупных российских стриминговых сервисов. Расскажу как построить архитектуру для обработки битых данных от 30+ партнеров и склеить хаос в интервалы просмотра.

Политыко Сергей

Mediascope

Архитектор Highload систем и тимлид с 12-летним опытом, последние годы специализируется на BigData и аналитических платформах.
В Mediascope возглавляет команду разработки платформы для измерения цифровой аудитории видеосервисов и e-commerce аналитики. Под его руководством спроектированы ключевые компоненты системы обработки данных объемом 3+ ТБ в сутки.

До BigData семь лет проектировал и внедрял корпоративные системы автоматизации — в активе проекты для Сахалинской Энергии и аэропорта Пулково с бюджетами до полумиллиарда рублей и командами до 70 человек.

Преподает в магистратуре ИТМО.

Стек: Python, Kafka, ClickHouse, HDFS, Airflow, SQL, Enterprise Architect, Grafana