Инженерия масштабируемого AI PDLC

Проблема: MAU агентных систем для PDLC в банке составляет 40+ тысяч человек. Ежедневно системами пользуются более 10 тысяч человек. При этом помимо пользователей за потребление токенов конкурируют автономные агенты, системы обучения моделей и замеров (бенчмарков). Токены затрачиваются не только на генерацию ответа, но и на сбор и анализ громадного объема корпоративного контекста, знаний, методик, правил регуляторов. В месяц мы потребляем более 10Т токенов, что требует значительного количества GPU-ресурсов и команд поддержки работоспособности.

Решение: • Балансировка задач по дневному и ночному инференсу. • Внедрение контекстного храналища для эффективного управления контекстом (сокращение потребления токенов "на входе"). • Создание конвейеров автономной работы, включающий как ИИ шаги, так и детерменироанную логику ("Не используем ИИ там, где можно автоматизировать без ИИ", например, в сборке проектов).