Сказ о том, как девопсы писали платформу LLM-инференса для облачных провайдеров
Подробнее о докладе
Другие доклады
- Гарантированная доставка на Госуслугах: миллиард доставленных заявлений в годСергей Станиславский
Спикеры
15 лет в production-инфраструктуре: от Unix-кластеров под телефонию до Kubernetes-платформ для финтеха и телекомов. CEO AdminDivision (DevOps/инфра, 150+ проектов) и Впрод (LLM as a Service платформа).
Отзыв программного комитета
Как превратить LLM-демо в промышленный AI API? Егор Андреев разберёт путь от vLLM-контейнера до платформы: доступы, ключи, биллинг, обновления и учёт использования. Практический кейс на 30 GPU-нодах с цифрами производительности и честным разбором ошибок эксплуатации.
Кому полезно
DevOps/SRE, инженеры платформ, backend-архитекторы, инженеры ML-платформ, технические руководители провайдеров и внутренних платформенных команд, которые запускают LLM в своём контуре или строят AI API для внутренних команд и клиентов.
О чём доклад
«Парни, теперь вы будете разрабами. И мы с вами напишем платформу LLM-инференса для облачных операторов». С такими словами я год назад пришёл к своей команде девопсов. Парни покрутили у виска. Но поверили.
Мы годами строили и эксплуатировали инфраструктуру. Я и ключевые члены команды успели поработать по обе стороны отношений оператор-вендор. Представления о хорошем инфраструктурном софте у нас были, как и представления о плохом. Теперь предстояло проверить, как мы справимся сами.
Расскажу, зачем мы взялись писать собственный Kubernetes Operator и стоило ли ли оно того. Как проектировали систему, в которой отказ управляющей части не должен останавливать пользовательские запросы. И как выбирали, чем провайдер будет управлять через наш API, а что платформа должна делать сама.
Будут и интересные повороты. Автомасштабирование, на которое я возлагал большие надежды, ждала неожиданная судьба. Веб-интерфейс, собранный для себя, клиенты потребовали включить в продукт. А автоматический мониторинг моделей, который мы считали само собой разумеющимся, неожиданно вызвал восторг.
Каждый эпизод начинается с ситуации из нашей работы: какие варианты были, что выбрали и что получилось. На этих примерах покажу, какие требования оправдывают собственную разработку, где можно обойтись готовыми компонентами и какие предположения стоит проверить прежде, чем вкладываться в сложную функцию.