Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.

Мы расскажем о том, как мы решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.

* Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением.
* Обзор существующих решений: DALI & Triton, Cython, Julia, С++, Numba, etc.
* Батчинг.
* Разрешение критических боттлнеков в проде и случайное ускорение тренировок.
* Результаты.