ДокладAI-агенты: как доверять результату и контролировать действия?

Железный аналитик, который на 85% как настоящий

Подробнее о докладе

НаправлениеАвтономные агенты
Дата1 декабря, 14:35
ЗалБелый зал от MWS
ФорматДоклад, 50 минут
Уровень
Высокая сложность

Спикеры

6 лет в IT. Сейчас занимаюсь RnD в части внедрения AI в платформу данных Т-Банка.

Отзыв программного комитета

Олег Сагитов из RND Т-Банка расскажет, как собрать виртуального дата-аналитика для хранилища, где более 8 ПБ данных и 500 000 таблиц с качеством ответа от 85%. Разберём agent-facing-проекцию данных, таксономию Human-in-the-Loop и метрики, по которым видно, что SQL отвечает на вопрос пользователя.

Кому полезно

Platform, Data, ML-инженеры, Архитекторы и все, кто хоть раз пытался сгенерировать SQL на данных DWH с помощью LLM и потерпел неудачу.

О чём доклад

Большинство Text2SQL-систем по-прежнему строятся вокруг одной гипотезы: если SQL получился неправильным, модели не хватило контекста. Поэтому начинает переписываться промпт, к нему добавляются фрагменты схем хранилища, метаданные из data catalog и задача вновь отправляется той же модели. В production DWH упрётся в потолок 35% качества. Если у вас есть впечатление, что семантический слой - не серебряная пуля, решающая задачу Text2SQL, то вы правы.

Приходите на доклад, где мы разберём: * в чем реальная сложность создания data-agent на масштабах аналитического хранилища; * почему инструменты семантического поиска не дают нужный результат; * как создать agent-facing-проекцию данных хранилища и перестать угадывать решения задач, которые не описаны в скиллах; * почему важно создать таксономию Human-in-the-Loop как контракт между человеком и Text2SQL; * какие есть способы генерации SQL агентами и зачем их динамически выбирать по риск-метрикам; * какие эксперименты и метрики позволяют доказать, что сгенерированный SQL содержит ответ на вопрос пользователя.