5 GB трейсов в секунду, или Как устроена система трассировки в Ozon

Архитектуры и масштабируемость

Трейсинг

Доклад принят в программу конференции

Целевая аудитория

Разработчики, DevOps и SRE-инженеры.

Тезисы

В этом докладе я пролью свет на трейсинг внутри Ozon и на то, как у него получается обрабатывать 5 Gb/s трейсов. Речь пойдёт об архитектуре системы трассировки запросов, пайплайне обработки трейсов, методах хранения такого большого количества данных и, конечно же, о проблемах, с которыми мы сталкивались во время разработки и поддержки системы трейсинга.

Помимо этого, расскажу и покажу, как мы строим граф взаимодействия (dependency graph) более 2 тысяч сервисов внутри Ozon, а также как благодаря трейсингу мы умеем выявлять наиболее ресурсоемкие запросы (critical path), например, при загрузке какой-либо тяжелой страницы. Дополнительно затрону тему взаимодействия системы трассировки запросов с другими системами Observability внутри Ozon.

Ведущий разработчик в Ozon.
Руководитель курса по Go в OTUS.
Еx-разработчик в Тинькофф, Kaspersky Lab и Mail.ru.

Ozon

Ozon — ведущая платформа e-commerce в России. В команде Ozon Tech почти 4 000 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.

Видео

Другие доклады секции

Архитектуры и масштабируемость