МТС в режиме реального времени получает большие объёмы данных от своих абонентов по различным прокотолам, в многочисленных физических и логических форматах данных. Эти данные можно использовать для рекламных кампаний, формируя триггеры на основе сценариев абонентов. Многие из этих данных актуальны лишь небольшой промежуток времени, а значит эти данные нужно как можно быстрее обработать, чтобы получить из них максимальную выгоду. Лучший способ это сделать - применить streaming processing.
В этом докладе я расскажу как мы в МТС реализовали триггерную систему на основе потоковой обработки данных в условиях BigData (~10 млн. событий в секунду) с помощью Java, K8s, PostgreSQL, Aerospike, Kafka и без использования популярных фреймворков (Spark, Flink, Samza, NiFi и т.п.).