Есть ли жизнь без ELK? Как снизить стоимость Log Management, используя Kafka, ClickHouse и Vector DevOps и эксплуатация
Дефолтной системой для обработки логов традиционно является ELK-стек. Он бесплатный, удобный, но требовательный к вычислительным ресурсам.
Можно ли в разы снизить затраты на хранение и обработку логов?
В докладе я поделюсь опытом построения централизованной системы для управления логами. Расскажу про процесс выбора решений, почему мы остановились на связке Vector/Kafka/ClickHouse, какие есть сложности в работе с логами в ClickHouse и как их решать, а также — как мы эффективно пишем, анализируем и храним сотни гигабайт логов в сутки.
Более 15 лет руководит проектами в области информационных технологий и информационной безопасности. Сейчас занимается техническим развитием продукта Proto Observability Platform. Сертифицированный эксперт в области информационной безопасности и облачных вычислений — CISA, CISSP, CCSK.
Основные интересы — Kubernetes, микросервисы, мониторинг производительности приложений, observability.
TG: @denis_bezkorovayny