От vLLM в Docker до промышленного AI API: как модель превращается в сервис

Запустить LLM сегодня можно быстро: взять GPU, поднять vLLM или SGLang, получить OpenAI-compatible API и показать демо. На этом этапе всё выглядит почти слишком хорошо: модель отвечает, curl работает, первые пользователи довольны.

Проблемы начинаются, когда демо превращается в сервис для нескольких команд или клиентов. Появляются разные модели, GPU-профили, ключи, права доступа, обновления, остановки, переносы между узлами и вопрос «кто сколько использовал».

В докладе покажу, как вокруг движка инференса вырастает платформенный слой: каталог моделей, стабильные имена в API, развёртывание через Kubernetes, доступы для организаций и команд, метрики, учёт использования и статусы жизненного цикла модели.

Разбор пойдёт в формате «вызов -> решение». Начнём с одного vLLM-контейнера, затем добавим несколько моделей, команды, ключи, права на модели, учёт токенов и эксплуатационные метрики. Производительность, GPU-пулы и роутинг запросов будут фоном; основной фокус - управляемый AI API как сервис.

Слушатели унесут инженерный чек-лист: что добавить после первого успешного запуска модели, чтобы AI API не превратился в набор ручных команд, общих ключей и забытых ресурсов в Kubernetes.