Сказ о том, как девопсы писали платформу LLM-инференса для облачных провайдеров

«Парни, теперь вы будете разрабами. И мы с вами напишем платформу LLM-инференса для облачных операторов». С такими словами я год назад пришёл к своей команде девопсов. Парни покрутили у виска. Но поверили.

Мы годами строили и эксплуатировали инфраструктуру. Я и ключевые члены команды успели поработать по обе стороны отношений оператор-вендор. Представления о хорошем инфраструктурном софте у нас были, как и представления о плохом. Теперь предстояло проверить, как мы справимся сами.

Расскажу, зачем мы взялись писать собственный Kubernetes Operator и стоило ли ли оно того. Как проектировали систему, в которой отказ управляющей части не должен останавливать пользовательские запросы. И как выбирали, чем провайдер будет управлять через наш API, а что платформа должна делать сама.

Будут и интересные повороты. Автомасштабирование, на которое я возлагал большие надежды, ждала неожиданная судьба. Веб-интерфейс, собранный для себя, клиенты потребовали включить в продукт. А автоматический мониторинг моделей, который мы считали само собой разумеющимся, неожиданно вызвал восторг.

Каждый эпизод начинается с ситуации из нашей работы: какие варианты были, что выбрали и что получилось. На этих примерах покажу, какие требования оправдывают собственную разработку, где можно обойтись готовыми компонентами и какие предположения стоит проверить прежде, чем вкладываться в сложную функцию.