Сбор 30 миллиардов запросов ежесуточно. Архитектура, пережившая рост в 1000 раз

Производительность enterprise-систем

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как собрать трафик в реальном времени с 10 000 микросервисов в Озон для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супер-оружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.

Целевая аудитория

С точки зрения технологий - инженеры и архитекторы высокопроизводительных систем. С точки зрения предметной области - разработчики инструментов нагрузочного тестирования

Тезисы

В Ozon нагрузочное тестирование проводится по продакшен окружению. Используя реальные запросы пользователей. Одна из проблем – все эти запросы собрать. Мы это делаем, клонируя трафик с других сервисов. И если другие сервисы держат нагрузку только от их пользователей, то наш сервис – держит суммарную нагрузку сотен сервисов.

В своем докладе я расскажу про:

- Первую версию архитектуры, державшую нагрузку в тысячи раз меньше текущей;
- Сложности, с которыми мы столкнулись. В частности - как положили kafka для части сервисов;
- Развитие архитектуры, вплоть до текущей версии, выдерживающий 1 500 000 RPS;
- Как мы ежедневно записываем 20 терабайт трафика;
- Зачем мы это делаем.

Тимлид. Руководил продуктовыми командами до 16 человек в пике.
Развил платформу нагрузочного тестирования в Ozon.
Сейчас занимаюсь разработкой средств контроля.

Видео