Мнение Программного комитета о докладе
Kubernetes начали использовать и для ML, но до продакшна дошли не все. В этом докладе - продакшн.
MLOps в супертяжелом весе: приседания c большими моделями в k8s
Доклад принят в программу конференции
Целевая аудитория
ML-инженеры, которые собираются выводить огромные модели в production. Разработчики и системные администраторы, которые собираются разрабатывать и поддерживать сервисы с большими моделями.
Тезисы
Мы в Т-Банке запустили внутреннюю продакшн-платформу для синтеза визуального контента. В докладе расскажу, как поднимали «супертяжелые» ML-модели в Kubernetes: справлялись с огромными образами и весами, строили архитектуру вокруг особенностей инференса и выжимали максимум подручными средствами. Будет полезно тем, кто планирует завести огромные ML-модели у себя.
Бекендер (python/go), часто разрабатывал около-AI сервисы. Сейчас руководит разработкой платформы синтеза визуального контента. Играет в волейбол на песочке.
Видео
Другие доклады секции
Data Engineering
