HotCache на Tarantool: real-time пайплайн от Kafka до in-memory хранения с управляемым охлаждением данных

В системах с высокими требованиями к latency часто возникает необходимость отделить “горячие” данные от исторических. При этом пайплайн должен оставаться управляемым, масштабируемым и отказоустойчивым. Мы построили HotCache-платформу на базе Tarantool (TCS и TDB), где: ● данные поступают из Kafka; ● ● ● ● трансформируются в отдельном сервисе; сохраняются в in-memory хранилище; отдаются пользователям через REST API; управляются сценарии охлаждения данных. В докладе разберём: ● архитектуру пайплайна Kafka → Transformation Service → Tarantool (TCS/TDB) → ● ● ● ● ● ● REST; почему выбран in-memory подход и где он оправдан; разделение ответственности между сервисом трансформации и слоем хранения; организацию схем в Tarantool TCS и TDB; стратегии охлаждения данных: • TTL; • перенос в более “холодное” хранилище; • batch-архивация; • удаление по бизнес-политике; контроль производительности и latency; эксплуатационные аспекты: мониторинг, логирование, контроль back-pressure. Доклад — о практической архитектуре real-time слоя данных, который должен быть быстрым, но при этом управляемым.