HotCache на Tarantool: real-time пайплайн от Kafka до in-memory хранения с управляемым охлаждением данных

В системах с высокими требованиями к latency часто возникает необходимость отделить
“горячие” данные от исторических. При этом пайплайн должен оставаться управляемым,
масштабируемым и отказоустойчивым.
Мы построили HotCache-платформу на базе Tarantool (TCS и TDB), где:
●
данные поступают из Kafka;
●
●
●
●
трансформируются в отдельном сервисе;
сохраняются в in-memory хранилище;
отдаются пользователям через REST API;
управляются сценарии охлаждения данных.
В докладе разберём:
●
архитектуру пайплайна Kafka → Transformation Service → Tarantool (TCS/TDB) →
●
●
●
●
●
●
REST;
почему выбран in-memory подход и где он оправдан;
разделение ответственности между сервисом трансформации и слоем хранения;
организацию схем в Tarantool TCS и TDB;
стратегии охлаждения данных:
• TTL;
• перенос в более “холодное” хранилище;
• batch-архивация;
• удаление по бизнес-политике;
контроль производительности и latency;
эксплуатационные аспекты: мониторинг, логирование, контроль back-pressure.
Доклад — о практической архитектуре real-time слоя данных, который должен быть
быстрым, но при этом управляемым.