PostMortem Copilot: как LLM + MinHash LSH снижают повторяемость инцидентов
30 ноября, 15:50, «Дели-Калькутта»
Мнение Программного комитета о докладе
Как PostMortem Copilot работает с тысячами инцидентов. Разберём MinHash LSH, коэффициент Жаккара, выбор LLM, промпт с одним вызовом и расхождения AI и человека. Покажем, где AI не помогает и как встроить решения в процессы команды, расширив их на активную фазу.
Целевая аудитория
SRE-инженеры, DevOps-инженеры, инженеры дежурных смен и координаторы инцидентов, тимлиды и руководители платформенных команд, отвечающие за надёжность highload-систем. А также ML/AI-инженеры, которые внедряют LLM в операционные процессы и ищут практические паттерны продакшн-применения
Тезисы
Каждый второй PostMortem заканчивается спором о причине, а половина «мер по недопущению» умирает в тексте документа. Мы построили инструмент — PostMortem Copilot, — который на базе LLM и поиска похожих инцидентов через MinHash LSH автоматически формирует гипотезу корневой причины, альтернативные версии, факторы инцидента и конкретные меры по четырём целям: «не повторится», «заметим раньше», «пострадаем меньше», «починим быстрее».
Расскажу, почему мы отказались от эмбеддингов в пользу коэффициента Жаккара, как эмпирически нашли оптимальный порог схожести, как построили AI-судью для объективного выбора LLM из десятка on-prem-моделей и почему модель — это лишь 30% успеха. Покажу продовые результаты. И расскажу, куда мы двигаемся дальше.
Спикеры
МТС Диджитал
