Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Как мы строим Feature store

HighLoad++ Foundation - Резерв

Доклад отозван

Тезисы

За пять с лишним лет Big Data МТС выросла из небольшого внутреннего стартапа в самостоятельный центр с более чем тремя сотнями сотрудников и десятками продуктовых команд. Наши наработки ML проходят этап взросления из бунтарского rnd в зрелый production. И мы словили пучок детских болезней — не могли понять, какие у нас уже собраны фичи, где они находятся, сколько же у нас всего моделей и какие данные они потребляют, не было единых средств поставки данных. Оказалось, что эти боли — универсальные для многих компаний, поэтому мы решили поискать возможные решения на рынке. Нам ничего не подошло, и вот мы уже строим свое. Об этом и расскажу.

Целевая аудитория

Data Engineers, Data Architects, ML Engineers, MLOps Engineers, Data Scientists.

Data Engineer в МТС Big Data, руководит группой разработки платформы данных.
Строил ETL-платформу для внутреннего fintech-стрима, участвовал в качестве TechPM в развитии продукта BDaaS (Big Data as a Service), участвовал в разработке Big Data ETL-framework. Теперь строит Feature store.

МТС

МТС, Центр Big Data — подразделение с более чем тремя сотнями сотрудников и десятками продуктовых команд, занимающихся различными направлениями — от IoT и геоаналитики до fintech и разработки собственных платформ и инструментов для работы с данными.

Видео