Как готовить большие данные? Рецепты построения архитектуры данных на Hadoop BigData и машинное обучение
Доклад принят в программу конференции
Тезисы
Практический опыт создания и эволюции одного из крупнейших в России Озера Данных. Задачи, которые приходится решать, и как удается совмещать технические желания и бизнес-рационализм. Как совместить классические и более современные подходы к архитектуре данных с Hadoop-экосистемой, концептуальная архитектура данных — современные подходы, в чем разница концепций Data Lake и Data Mesh.
Григорий Коваль
МТС
Data Lake Product Owner. В настоящее время руководит развитием и поддержкой Data Lake МТС, до этого занимался развитием архитектуры МТС Big Data "с нуля" — от планирования железа до конечной реализации конкретных сервисов и витрин данных, имеет 10+ лет опыта работы с высоконагруженными системами хранения и аналитики в качестве разработчика и архитектора.
grigory.koval@mail.ru
Другие доклады секции BigData и машинное обучение
Геопространственное моделирование с применением методов машинного обучения
Константин Измайлов
Delivery Club
Как подключить к Apache Spark проприетарный источник данных: теория, практика, грабли, костыли
Александра Белоусова
Яндекс.Go
DeepQuarantine for Suspicious Mail
Никита Бенькович
Лаборатория Касперского
Data-centric MLOps
Дмитрий Евстюхин
Provectus
Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow?
Владимир Баев
Grid Dynamics
Нечеткое хэширование для детектирования спам-писем
Алексей Марченко
Лаборатория Касперского