Охота за аномалиями на графиках Базы данных и системы хранения
Мы разрабатываем Badoo и Bumble — дейтинг-приложения для миллионов пользователей по всему миру. Для анализа такой нагрузки мы создали инструмент поиска аномалий на графиках.
Основная цель Anomaly Detection — зафиксировать аномалии в поведении метрик и сообщить об этом ответственным за них сотрудникам.
В этом докладе я буду делать упор на технологии, которые мы использовали: Clickhouse, алгоритмы предсказаний и процесс портирования этих алгоритмов на SQL. Такой стек позволяет нам процессить миллионы графиков в сжатые сроки.
Я расскажу:
* что такое аномалии, основные термины;
* как мы выбирали стек технологий;
* как работают алгоритмы предсказаний;
* о выборе доверительного интервала;
* о выборе лучшей модели;
* о последующем анализе аномалий.
Вы увидите, что портирование математических формул в клике — не так уж и сложно.
Работает в Badoo уже более трех лет. Сейчас руководит группой разработки данных. Решают проблемы доставки больших объемов данных до долгосрочных хранилищ, а также строят разные аналитические инструменты для удобства работы со статистической информацией.