Укрощение OpenSearch: наши сервисы для стабильного логирования

DevOps-практики и культура

Логи, метрики, ошибки

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

DevOps, SRE, архитекторы, разработчики.

Тезисы

В МТС наша команда поддерживает и развивает платформу наблюдаемости, одним из критически важных элементов которой - является логирование. Но как оказалось, при масштабировании на тысячи пользователей и сотни терабайт разнородных данных, стандартных opensource решений оказывается недостаточно для создания эффективного сервиса, обеспечивающего отказоустойчивость 99.95% и возможность обработки >1 млн событий в секунду. Пришлось разработать собственные решения, оптимизирующие работу Opensearch и Kafka под наши нагрузки.

Юлия Тальцкова

МТС Диджитал

Ведущий инженер сервиса логирования платформы Наблюдаемости в МТС. Эксперт по Opensearch.