Как мы сэкономили на логах, переехав с Elasticsearch на Grafana Loki

DevOps и эксплуатация

Логирование и мониторинг
Логи, метрики, ошибки
Облака
DevOps / Кубер

Доклад отозван

Целевая аудитория

DevOps-инженеры, CTO.

Тезисы

Elastic Stack являлся до определенных пор де-факто стандартом сбора и обработки логов с Kubernetes-кластеров. Однако известна некоторая его требовательность к ресурсам. Поэтому на рынке появляются новые игроки, которые предлагают альтернативные решения, и один из них — это Grafana Loki. В случае, если вы принимаете решение, что вам необходимо поменять стек сбора логов, встает ряд проблем и вопросов, которые требуют ответа.

В докладе поделимся опытом миграции логов из Elasticsearch в Loki, с какими трудностями на этом пути мы столкнулись, как решали и сколько денег в итоге сэкономили.

Также будут рассмотрены такие темы, как:
* архитектурные отличия ELK/EFK-стека от Grafana Loki;
* каким образом Loki позволяет сильно экономить на инфраструктуре, необходимой для логов;
* как не завязываться на облачного провайдера — разберем здесь работу boltdb-shipper и взаимодействие с S3-хранилищем;
* какие "ручки" нужно крутить в конфигурации Loki для того, чтобы он работал быстро;
* и самое главное — что делать, если логи уже есть в Elasticsearch, и как их перенести в Loki за адекватное время — поделимся собственным опытом и решением.

Системный архитектор. Занимается проектированием и внедрением специализированных и highload-решений.

KTS

KTS разрабатывает цифровые сервисы для бизнеса. Специализируются на HR Tech, EdTech, маркетинговых технологиях, DevOps и кастомных веб- и мобильных сервисах. https://kts.studio

Видео

Другие доклады секции

DevOps и эксплуатация