Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Генерация хайлайтов

Компьютерное зрение / ML поверх видео

Доклад принят в программу конференции

Тезисы

Highlight — небольшое видео, показывающее наиболее яркие моменты из фильма. Мы научились создавать highlight'ы автоматически, используя модели computer vision и наш pipeline подготовки видео к стримингу. О том, каким образом это получается, я расскажу в своем докладе.

Highlight очень похож на трейлер, однако трейлер, как правило, длиннее, в то время как длительность highlight’а обычно не превышает пары десятков секунд. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.

Уже довольно давно мы подозревали, что контент, имеющий трейлеры и highlight’ы, начинают смотреть намного охотнее, но вот незадача — только у 30% единиц контента есть нормальные трейлеры, а коротких highlight’ов нет почти совсем. Перед тем, как ринуться с головой в массовую генерацию новых видеофайлов, мы провели полноценный А/B-тест, который доказал существенно лучшую конверсию в просмотр у контента с дополнительными материалами. Задача была следующая: создать механизм генерации highlight’ов для 80 000 единиц контента, причем нескольких типов с разной длительностью.

В докладе я раскрою аспекты алгоритмической и инженерной частей создания Highlight’ов. Особое внимание планирую уделить эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов. Расскажу о том, как мы подключали внешние облака, когда ресурсов своего облака не хватило, затрону вопрос интеграции моделей требующих больших вычислительных ресурсов и времени в системы массового обслуживания.

Закончил кафедру ИУ7 МГТУ им. Баумана.
Был разработчиком ПО в Институте общей и неорганической химии им. Курнакова, РНЦ Курчатовский Институт, в Российско-Корейском Центре исследования энергии.

Автор системы по учету и контролю сварных соединений нефте- и газопроводов.
Руководил компанией по разработке высоконагруженных проектов Netstream, плодами которой были проекты, связанные с online-вещанием и видео (smotri.com, ivi). В 2012 году Netstream вместе со всей командой был дружественно поглощен одним из своих заказчиков — ivi. C 2012 года по сей день Евгений работает CTO ivi.

C 2006 г. преподает в МГТУ им. Баумана авторский курс "Технологии командной разработки ПО”.
Является автором магистерской программы МАИ по подготовке менеджеров в IT.

ivi

Видео