Как мы в МТС создали единый экосистемный профиль клиента

BigData и инфраструктура машинного обучения (data engineering)

Python
Базы данных / другое
Архитектура данных, потоки данных, версионирование
Hadoop
ETL
Хранилища
Обработка данных

Доклад принят в программу конференции

Целевая аудитория

CTO, Архитекторы, Data Engineer, Data Analyst, System Analyst, Backend Developer

Тезисы

МТС как экосистема имеет множество клиентов различных индустрий: телеком, финтех, кикшеринг, онлайн-кинотеатр, музыка, путешествия и т.д. В каждой индустрии клиент - это центральная и самая важная фигура, вокруг которой строятся практически все бизнес-процессы. Данных о клиентах, их поведение в рамках экосистемы и даже за её пределами являются "золотыми" - эти данные можно монетизировать, конвертировать в релевантные предложения для клиентов, улучшение качества обслуживания, продвижению новых услуг, вывод новых продуктов и многое другое. Однако, в рамках экосистемы данные о клиентах разрознены по различным индустриям и не могут похвастаться консистентностью, актуальностью, полнотой. А это порождает большие сложности для бизнес-процессов компании. Чтобы можно было эффективно работать с данными, необходимо, чтобы эти данные были представлены в качественном и едином агрегированном знании о клиенте, которое представляет собой синергию данных из множества индустрий. В МТС единым агрегированным знанием о клиенте является Customer Data Products (CDP), а его сердцем - продукт Golden Record. В докладе я расскажу о том, как устроено хранение и обработка агрегированных знаний о клиенте, его операционном, аналитическом и вероятностном профиле. Покажу архитектуру, технологии, функциональность и инфраструктуру. Приведу пример аналитики данных по клиенту на основе данных из Golden Record.

Евгений Ненахов

МТС Web Services (MWS)

CTO CDP BigData МТС Web Services (MWS). Занимается задачами BigData. Много времени уделяет потоковой обработке данных. Кандидат физ.-мат. наук и доцент кафедры «Вычислительная математика и программирование» в ВУЗе. Один из авторов курса для Data Engineer в Яндекс Практикум.

Видео