Угнать за 5 миллисекунд: как мы делали транспорт для торговых ядер Московской Биржи Архитектуры, масштабируемость
Главный архитектор и руководитель архитектуры VK Cloud.
Руководитель отдела архитектуры / системы хранения данных в VK Cloud
- эксперт в архитектуре высоконагруженных систем и современных подходах к обработке данных
- помогает в построении масштабируемых и отказоустойчивых архитектур клиентам VK Cloud в сферах ритейла, финтеха, телекомов.
Тезисы
Рассмотрим одну из базовых задач, которую решает любая мировая биржа — быструю доставку данных о заявках до клиентов. На первый взгляд, задача не выглядит сложной, но есть отягчающие обстоятельства:
- поток данных может достигать нескольких сотен тысяч запросов в секунду;
- потребителей может быть сотни, а то и тысячи;
- время между генерацией ордера и попаданием его конечному потребителю должно быть не более 5 мс в 99% случаев.
В нашем докладе мы расскажем:
- о выборе инструмента (или почему стандартные очереди не подходят для этой задачи);
- об архитектуре распределенного хранилища горячих данных
- о структурах хранения данных;
- каким образом добавление троттлинга уменьшает задержку;
- о проблемах, возникающих при горизонтальном масштабировании хранилища данных, и их решении;
- о примененных оптимизациях, в разы увеличивших производительность.
