Как мы в BigData МТС делаем Customer Data Products (CDP)

BigData и инфраструктура машинного обучения (data engineering)

Фреймворки
Java
Python
Scala
Базы данных / другое
Архитектура данных, потоки данных, версионирование
Hadoop
ETL
Хранилища
Обработка данных

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

CTO, Архитекторы, Data Engineer, Data Analyst, System Analyst, Backend Developer

Тезисы

МТС как экосистема имеет множество клиентов различных индустрий: телеком, финтех, кикшеринг, онлайн-кинотеатр, музыка, путешествия и т.д. В каждой индустрии клиент - это центральная и самая важная фигура, вокруг которой строятся практически все бизнес-процессы. Данных о клиентах, их поведение в рамках экосистемы и даже за её пределами являются "золотыми" - эти данные можно монетизировать, конвертировать в релевантные предложения для клиентов, улучшение качества обслуживания, продвижению новых услуг, вывод новых продуктов и многое другое. Однако, в рамках экосистемы данные о клиентах разрознены по различным индустриям и не могут похвастаться консистентностью, актуальностью, полнотой. А это порождает большие сложности для бизнес-процессов компании. Чтобы можно было эффективно работать с данными, необходимо, чтобы эти данные были представлены в качественном и едином знании клиенте, которое представляет собой синергию данных из множества индустрий. В МТС единым знанием о клиенте является Customer Data Products (CDP) - набор продуктов о данных клиентов в центре Big Data. В докладе я расскажу, из каких конкретно продуктов состоит CDP, их архитектуру, технологический стек и процессы в продуктах.

CTO центра управления клиентскими данными в центре BigData МТС Диджитал. Занимается задачами построения систем класса LakeHouse. Много времени уделяет потоковой обработке данных. Кандидат физ.-мат. наук и доцент кафедры «Вычислительная математика и программирование» в ВУЗе. Один из авторов курса для Data Engineer в Яндекс Практикум.

МТС Digital

МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.

Видео