Как сохранить высокую надежность при GenAI-трансформации

GenAI и большие языковые модели (LLM)

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Из доклада узнаете, как в Сбере внедряют AI-агентов в критичные банковские системы без падений прода. Покажут 12 боевых паттернов надежности: от предотвращения зацикливаний до автоматических откатов. Готовые решения для вашего GenAI. Не пропустите опыт, который сэкономит вам месяцы!

Целевая аудитория

Владельцы продуктов, руководители OPS (все, кому предстоит отвечать за работоспособность GenAI-решений).

Тезисы

Внедрение GenAI в небольшой организации и в крупной финансовой корпорации — это две большие разницы. Интеграция AI-агентов в критические банковские системы без снижения уровня надежности сопряжена с уникальными и специфичными вызовами. Отсутствием детерминированности в ответах агентов, риски зацикливания, сложности с мониторингом — вот лишь некоторые из них.

Наше решение:
Мы разработали паттерны, обеспечивающие надежную работу AI-агентов в продакшн-среде:
* Уникальная идентификация операций и полный трейс действий агента в AEF.
* HealthCheck и мониторинг, специфичные для AI-агентов.
* Механизмы предотвращения зацикливания (TTL, лимиты попыток).
* ByPass-режим для продолжения работы системы без агента в случае сбоев.
* Поддержка отката изменений для критичных операций.
* GuardRails для управления рисками и безопасности.

Участники получат:
* Чек-лист для безопасного внедрения AI-агентов.
* Набор готовых паттернов и требований по надежности для интеграции GenAI в enterprise-среду.
* Понимание того, как избежать «паралича» IT-сервисов при отказах AI-агентов, обеспечить полноценный аудит и восстановление, а также интегрировать агентов в существующие BCP-планы (планы непрерывности бизнеса).

В основе доклада — реальный опыт внедрения в продакшн критичных банковских систем в экосистеме Сбера.

Исполнительный директор ситуационного центра, ответственный за надежность систем сегмента B2C (розница) в Сбере. Развивает сообщества архитекторов и инженеров сопровождения, спикер конференций.

Видео

Другие доклады секции

GenAI и большие языковые модели (LLM)