Высоконагруженный расчет на основе больших данных в МТС: повышение пропускной способности в 30 раз и другие уроки из практики

Мы расскажем о построении в МТС системы расчета партнерского вознаграждения на базе собственного in-house решения (Java 21, SpringBoot 3, PostgreSQL, Kafka, Spark, Redis, ClickHouse): - как устроена архитектура системы и как за 3 года она эволюционировала от небольшого mvp до mission critical продукта. - Redis, денормализация, снэпшоты данных: как это помогло улучшить производительность в 30 раз на примере одного из  направлений расчета - как повысили скорость переливки данных в 2 раза и оптимизировали объем ресурсов для хранения в 10 раз - как на базе решения строили расчет вознаграждения правообладателям фильмов и сериалов, в основе которого многомилионный массив данных о действиях абонентов эко-системы МТС, порядка сотни тысяч фильмов и сериалов и множество вариаций алгоритма расчета, а ошибка на рубли несет риски в миллионы рублей