Как мы в МТС создаем аналитический профиль клиента экосистемы в режиме online

BigData и инфраструктура машинного обучения (data engineering)

Базы данных / другое
Распределенные системы
Архитектура данных, потоки данных, версионирование
ETL
Хранилища
Обработка данных

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

CTO, архитекторы, разработчики, инженеры данных, аналитики, DevOps.

Тезисы

МТС - это большая экосистема с множеством различных индустрий. Каждая индустрия имеет своих клиентов и конечно же один и тот же клиент может присутствовать в разных индустриях. При этом у каждой индустрии есть свой набор атрибутов по клиенту, значения которых могут обновляться с различной периодичностью.
Для аналитики, рекламных кампаний, рекомендательных систем, скоринговых продуктов, платформ и других подобных систем важно иметь в одной единой точке согласованный аналитический экосистемный профиль клиента с полным набором всех атрибутов и их актуальными значениями. Это значит, что нужно уметь идентифицировать клиента в экосистеме по набору ключей и в режиме реального времени или близко к реальному времени обновлять значения его атрибутов. Данные в аналитическом профиле клиента онлайн должны быть всегда доступны и публичные интерфейсы предоставлять значения атрибутов по заданным параметрам, а также оповещать системы-подписчики об изменениях в профиле. Подобная система будет иметь критически важное значение для многих систем компании, поэтому к такой системе предъявляются требования mission-critical. В докладе расскажу, как мы строим подобную систему.

CTO центра управления клиентскими данными в центре BigData МТС Диджитал. Занимается задачами построения систем класса LakeHouse. Много времени уделяет потоковой обработке данных. Кандидат физ.-мат. наук и доцент кафедры «Вычислительная математика и программирование» в ВУЗе. Один из авторов курса для Data Engineer в Яндекс Практикум.

Видео