Как сохранить высокую надёжность при GenAI трансформации

GenAI и большие языковые модели (LLM)

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Из доклада узнаете, как в Сбере внедряют AI-агентов в критичные банковские системы без падений прода. Покажут 12 боевых паттернов надежности: от предотвращения зацикливаний до автоматических откатов. Готовые решения для вашего GenAI. Не пропустите опыт, который сэкономит вам месяцы!

Целевая аудитория

Владельцы продуктов, Руководители OPS (все кому предстоит отвечать за работоспособность GenAI решений)

Тезисы

Внедрение GenAI в небольшой организации и в крупной финансовой корпорации — это две большие разницы. Интеграция AI-агентов в критические банковские системы без снижения уровня надежности сопряжена с уникальными и специфичными вызовами. Отсутствием детерминированности в ответах агентов, риски зациливания, сложности с мониторингом, вот лишь некоторые из низ.

Наше решение:
Мы разработали паттерны, обеспечивающие надежную работу AI-агентов в продакшн-среде:
- Уникальная идентификация операций и полный трейс действий агента в AEF.
- HealthCheck и мониторинг, специфичные для AI-агентов.
- Механизмы предотвращения зацикливания (TTL, лимиты попыток).
- ByPass-режим для продолжения работы системы без агента в случае сбоев.
- Поддержка отката изменений для критичных операций.
- GuardRails для управления рисками и безопасности.

Практическая польза для аудитории
Участники получат:
- Чек-лист для безопасного внедрения AI-агентов.
- Набор готовых паттернов и требований по надежности для интеграции GenAI в enterprise-среду.
- Понимание того, как избежать “паралича” ИТ-сервисов при отказах AI-агентов, обеспечить полноценный аудит и восстановление, а также интегрировать агентов в существующие BCP-планы (планы непрерывности бизнеса).

В основе доклада — реальный опыт внедрения в продакшен критичных банковских систем в экосистеме Сбера.

Исполнительный директор ситуационного центра, ответственный за надёжность систем сегмента B2C (розница) в Сбере. Развиваю сообщества архитекторов и инженеров сопровождения, спикер конференций

Видео

Другие доклады секции

GenAI и большие языковые модели (LLM)