MLops в супертяжелом весе : приседания в большими моделями в k8s
Доклад принят в программу конференции
Целевая аудитория
ML-инженеры, которые собираются выводить огромные модели в production. Разработчики и админы, которые собираются разрабатывать и поддерживать сервисы с большими моделями.
Тезисы
Мы в Т-Банке запустили внутреннюю продакшн-платформу для синтеза визуального контента. В докладе расскажу, как поднимали «супертяжелые» ML-модели в Kubernetes: как справлялись с огромными образами и весами, строили архитектуру вокруг особенностей инференса и выжимали максимум подручными средствами. Будет полезно тем, кто планирует завести огромные ML-модели в проде.
Бекендер (python/go), часто разрабатывал около-AI сервисы. Сейчас руководит разработкой платформы синтеза визуального контента. Играет в волейбол на песочке.
Видео
Другие доклады секции
Data Engineering
