RAG-система для техподдержки в продакшене: от runbooks до автоматической оценки качества
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
В Т-Банке мы построили систему, которая автоматически помогает операторам техподдержки решать обращения клиентов. Система синхронизирует документацию из Confluence и GitLab в RAG-платформу, обогащает базу знаний данными об активных инцидентах и в реальном времени генерирует рекомендации для операторов. В докладе покажем весь путь: от парсинга markdown-runbooks до AI-ответа в интерфейсе оператора, а также как мы внедрили автоматическую оценку качества RAG-ответов через LLM-as-Judge и какие метрики используем для контроля галлюцинаций, корректности и релевантности ответов.
3 года в IT, scala-разработчик по должности, ML-ops по призванию. Строил системы для улучшения агентского кодинга в компании, рассказывал доклады про работу с ML моделями для скалистов в банке, а также разрабатывал автоматизированные ai-пайплайны.
Видео
Другие доклады секции
GenAI и большие языковые модели (LLM)
