Профессиональная конференция разработчиков высоконагруженных систем

Эффективная ML-обработка видео в web-браузере для видеоконференций SberJazz

Нейронные сети, искусственный интеллект

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Работа в браузере — одна из самых сложных задач для нейросетей, работающих с медиаконтентом, особенно для сервиса видеоконференций, которому нужно справляться в real-time. Будет интересно узнать о движке инференса нейронок в SberJazz тем, кто занимается инференсом нейросетей и edge computing.

Целевая аудитория

Разработчики, сталкивающиеся с необходимостью запуска ML-технологий реального времени в web-приложениях. ML-инженеры, разрабатывающие модели для конечных устройств.

Тезисы

В этом докладе расскажем, как мы разрабатывали наш движок для запуска ML-моделей в web-браузере на примере видеоконференций SberJazz. Подробно обсудим мотивацию делать свой движок вместо использования открытых решений, покажем, как построить эффективный Inference моделей, используя возможности WebGL.

При работе на клиентском устройстве важно экономить вычислительные ресурсы, и мы пройдемся по тому, как это делаем в наших пайплайнах. Расскажем и об устройстве нашего графового движка, дающего возможность оптимизировать вычисления, но при этом аккуратно структурировать код. Обсудим вопрос тестирования технологии с использованием CI-среды, где недоступны физические GPU. А для ML-инженеров мы дадим полезные советы, как можно облегчить внедрение моделей в продукт, не потеряв при этом метрики.

Лид команды разработки Computer Vision-технологий для платформы видеоконференций SberJazz.

SberDevices

SberDevices — это компания полного цикла. Создают идеи, самостоятельно разрабатывают продукты, занимаются прототипированием, конструированием, придумывают дизайн, программные решения, контролируют качество на фабриках и создают инструменты для аппаратного тестирования. Перед SberDevices стоит амбициозная задача: сделать новейшие технологии максимально доступными в повседневной жизни, помочь им раскрыться и практически, и коммерчески.

Видео