Сбор 30 миллиардов запросов ежесуточно. Архитектура, пережившая рост в 1000 раз

Производительность enterprise-систем

Доклад принят в программу конференции

Целевая аудитория

С точки зрения технологий - инженеры и архитекторы высокопроизводительных систем. С точки зрения предметной области - разработчики инструментов нагрузочного тестирования

Тезисы

В Ozon нагрузочное тестирование проводится по продакшен окружению. Используя реальные запросы пользователей. Одна из проблем – все эти запросы собрать. Мы это делаем, клонируя трафик с других сервисов. И если другие сервисы держат нагрузку только от их пользователей, то наш сервис – держит суммарную нагрузку сотен сервисов.

В своем докладе я расскажу про:

- Первую версию архитектуры, державшую нагрузку в тысячи раз меньше текущей;
- Сложности, с которыми мы столкнулись. В частности - как положили kafka для части сервисов;
- Развитие архитектуры, вплоть до текущей версии, выдерживающий 1 500 000 RPS;
- Как мы ежедневно записываем 20 терабайт трафика;
- Зачем мы это делаем.

Тимлид. Руководил продуктовыми командами до 16 человек в пике (бэк, фронт, qa).
Кратко развил платформу нагрузочного тестирования в Ozon.
Сейчас занимаюсь разработкой средств контроля.

Ozon

Ozon — ведущий e-com России. В Ozon Tech — IT-команде компании — уже более 6 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Инженеры Ozon разрабатывают собственные решения, контрибьютят в Open Source и используют современный стэк: Go, C#, Kotlin, Swift, Vue.js, Kubernetes, Kafka и др. С каждым годом команда растёт вместе с бизнесом, чтобы повышать качество сервисов и быть ещё ближе к пользователям.

Видео