LLMOps в Альфа-Банке: вызовы и практические решения
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тимлиды, техлиды и инженерные руководители, которые проектируют и эксплуатируют платформы LLM или встраивают модели в продукты компании
Тезисы
В докладе на конкретном примере будет показано, как в enterprise‑среде организована платформа GenAI в Альфа‑Банке: от GPU‑кластера до инференса моделей.
Будут разобраны:
Архитектура GPU‑платформы и особенности кросс‑функционального кластера (on‑prem и облако, утилизация ресурсов).
Подход к сокращению «зоопарка» моделей: критерии отбора, единый каталог и политика жизненного цикла моделей.
Бенчмаркинг: методология расчета метрик, составление dataset, тестирование и выбор оптимальной конфигурации под продуктовые сценарии.
Организация инференса: стек сервинга, маршрутизация запросов, observability и контроль стоимости токена.
TBD
Видео
Другие доклады секции
GenAI и большие языковые модели (LLM)
