Почему Kubernetes не справляется с AI-задачами: продвинутый GPU-планировщик на базе Volcano
1 декабря, 11:10, «Сан-Паулу»
Мнение Программного комитета о докладе
Рассказ о том, как чинить недоутилизированные GPU в кластере. Все научились прокидывать GPU в Kubernetes, но что делать, когда утилизация этих GPU менее 50%? Спикер сравнит разные планировщики нагрузки и покажет, как именно они настраивают кластеры для своих клиентов.
Целевая аудитория
Для MLOps и DevOps инженеров, которые строят свои ML платформы
Тезисы
Для ML/AI-задач стандартного планирования Kubernetes часто недостаточно: GPU-задачи конкурируют за ограниченные ресурсы, требуют очередей, приоритизации и более гибкого распределения вычислительных мощностей кластера. В докладе я покажу, зачем ML-инфраструктуре нужен отдельный планировщик GPU-задач, и разберу это на примере того, как мы реализовали это в Nova AI.
Основной фокус доклада - Volcano как практический инструмент для оркестрации GPU-нагрузок. Сравню его с Kueue и Kai Scheduler, объясню, как устроен Volcano, разберу динамическое дробление видеокарт.
Покажу прикладные кейсы: как настраивать очереди для задач разной важности, как Volcano можно использовать вместе с KubeRay для запуска распределенного инференса LLM.
Спикеры
Orion soft
