Есть ли жизнь без ELK? Как снизить стоимость Log Management, используя Kafka, ClickHouse и Vector DevOps и эксплуатация
Дефолтной системой для обработки логов традиционно является ELK-стек. Он бесплатный, удобный, но требовательный к вычислительным ресурсам.
Можно ли в разы снизить затраты на хранение и обработку логов?
В докладе я поделюсь опытом построения централизованной системы для управления логами. Расскажу про процесс выбора решений, почему мы остановились на связке Vector/Kafka/ClickHouse, какие есть сложности в работе с логами в ClickHouse и как их решать, а также — как мы эффективно пишем, анализируем и храним сотни гигабайт логов в сутки.
Директор подразделения DevOps/DevSecOps, сооснователь Proto Group.
Более 15 лет руководит проектами в области информационных технологий и информационной безопасности. Сейчас возглавляет подразделение DevOps/DevSecOps в сервис-провайдере Proto Group.
Сертифицированный эксперт в области информационной безопасности и облачных вычислений — CISA, CISSP, CCSK.
Основные интересы — Kubernetes, микросервисы, мониторинг производительности приложений, observability.
TG: @denis_bezkorovayny