Как готовить большие данные? Рецепты построения архитектуры данных на Hadoop BigData и машинное обучение

Доклад принят в программу конференции

Тезисы

Практический опыт создания и эволюции одного из крупнейших в России Озера Данных. Задачи, которые приходится решать, и как удается совмещать технические желания и бизнес-рационализм. Как совместить классические и более современные подходы к архитектуре данных с Hadoop-экосистемой, концептуальная архитектура данных — современные подходы, в чем разница концепций Data Lake и Data Mesh.

Григорий Коваль

МТС

Data Lake Product Owner. В настоящее время руководит развитием и поддержкой Data Lake МТС, до этого занимался развитием архитектуры МТС Big Data "с нуля" — от планирования железа до конечной реализации конкретных сервисов и витрин данных, имеет 10+ лет опыта работы с высоконагруженными системами хранения и аналитики в качестве разработчика и архитектора.

grigory.koval@mail.ru