Эволюция покемона трейсинга в Ecom.Tech

Бывает что компании заходят в трейсинг как в догоняющий тренд: берут модное хранилище, прикручивают OpenTelemetry и надеются, что взлетит. Много кто так начинал. А под хайлодом оно начинает сыпаться: бэкенд отдаёт таймауты, транспорт не выдерживает пиков, часть данных теряется. При этом встречаются требования хранить 100% трейсов, не платить за лицензии и не раздувать инфраструктуру. Как мы собирали эти грабли и развешивали по стенам - я вам расскажу На примере платформы трейсинга в Ecom.Tech разберу путь через четыре «эволюции»: Grafana Tempo, потом Gigapipe на ClickHouse, потом VictoriaTraces и в финале отказоустойчивый транспорт на Kafka с автоскейлингом на HPA и KEDA.

Доклад для тех, кто строит observability под нагрузкой, выбирает или меняет хранилище трейсов и хочет чтоб "всё было хорошо". Вы унесёте повторяемую отказоустойчивую схему сбора и хранения трейсов относительно небольшими ресурсами, а также карту того, что у нас взлетело, а что нет и главное - почему.