От файла до премьеры: архитектура видеопроцессинга под большой нагрузкой
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Архитекторы распределенных систем, разработчики видеоплатформ и медиасервисов. SRE и DevOps-инженеры: планирование CPU-ресурсов, наблюдаемость длинных процессов
Тезисы
Обработка видео для онлайн-кинотеатра — это не просто запуск FFmpeg, а распределённый workflow из длительных и ресурсоёмких операций.
В докладе расскажем, как развивалась архитектура сервиса обработки видео крупнейшего онлайн-кинотеатра:
- какие проблемы появились с ростом нагрузки, числа форматов и требований к качеству;
- как обеспечить отказоустойчивость при потере связи с дата-центром;
- как управлять воркерами и распределять задания с учётом приоритетов и квот потребителей;
- как ML-модель прогнозирует необходимые задаче CPU и память;
- как устроены наблюдаемость и контроль качества результата;
- какие архитектурные решения оказались удачными, а какие пришлось пересмотреть.
Опыт будет полезен разработчикам распределённых систем, ETL- и ML-платформ и других сервисов с длительными вычислительными задачами.
Занимался исследованиям в области информационной безопасности, но последние 8 лет разрабатываю различные системы обработки и хранения видео
Видео
Другие доклады секции
Архитектура и масштабируемость
io_uring бесполезен в nginx? – Как мы переосмыслили ввод-вывод, создав новый event-модуль для Angie.
Behaviour Trees в инфраструктуре: как мы переписывали стейт-машину хостового агента деплой-платформы
