Высокопроизводительный промышленный сервис для компьютерного зрения на Python

Нейронные сети, искусственный интеллект

BigData / Нейронные сети

#BigData / Нейронные сети

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Компьютерное зрение все чаще используется в продуктах. Это доклад о тонкостях нагруженных сервисов с компьютерным зрением простым языком.

Целевая аудитория

Разработчики в сфере компьютерного зрения, любые DS- и ML-специалисты, исследователи, интересующиеся применением компьютерного зрения в промышленных системах/

Тезисы

Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.

Мы расскажем о том, как мы решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.

* Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением.
* Обзор существующих решений: DALI & Triton, Cython, Julia, С++, Numba, etc.
* Батчинг.
* Разрешение критических боттлнеков в проде и случайное ускорение тренировок.
* Результаты.

Занимается компьютерным зрением и машинным обучением с 2018 года, разрабатывает на языках Python, C++. Занимался проектами, связанными с видеонаблюдением, безопасностью на объектах, реидентификацией людей и распознаванием различных объектов. На данный момент работает в команде по монетизации и анализу видео- и фотоконтента Layer, SberDevices с сентября 2021 года.

SberDevices

SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.

Видео