Профессиональная конференция разработчиков высоконагруженных систем

Streaming Processing на данных BigData для рекламных кампаний МТС

BigData и машинное обучение

Java
PostgreSQL
Базы данных / другое
Асинхронное программирование, реактивное программирование
Архитектура данных, потоки данных, версионирование
Big Data и Highload в Enterprise
ETL
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Вы узнаете, как делать процессинг очень больших потоков данных в режиме реального времени из Kafka на голой Java с использованием минимального количества железа.

Целевая аудитория

Разработчики, инженеры данных, архитекторы, техлиды и все, кому интересна потоковая обработка (streaming processing) на больших объёмах данных.

Тезисы

МТС в режиме реального времени получает большие объёмы данных от своих абонентов по различным протоколам, в многочисленных физических и логических форматах данных. Эти данные можно использовать для рекламных кампаний, формируя триггеры на основе сценариев абонентов. Многие из этих данных актуальны лишь небольшой промежуток времени, а значит, эти данные нужно как можно быстрее обработать, чтобы получить из них максимальную выгоду. Лучший способ это сделать — применить streaming processing.

В этом докладе я расскажу, как мы в МТС реализовали триггерную систему на основе потоковой обработки данных в условиях BigData (~10 млн событий в секунду) с помощью Java, K8s, PostgreSQL, Aerospike, Kafka и без использования популярных фреймворков (Spark, Flink, Samza, NiFi и т.п.).

Техлид и руководитель направления Java-разработки в центре BigData MTS Digital. Занимается разработкой на Scala, Java преимущественно в проектах BigData. Участвовал в разработке DataLake для нескольких крупных компаний. Доцент кафедры «Вычислительная математика и программирование» в вузе. Один из авторов курса для Data Engineer в Яндекс Практикум.

МТС Digital

МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.

Видео