YTsaurus — это будущее DWH, и в Яндекс Маркете оно наступило

BigData и машинное обучение

Хранилища данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

YTsaurus — это будущее DWH, наш новый герой, который подвинет Hadoop. Приходите на доклад, чтобы в этом убедиться.

Целевая аудитория

Эксперты в области инженерии хранилищ данных. Эксперты в области обработки крупных данных. CDO/CTO.

Тезисы

* К концу 2022 года мы должны были построить хранилище вместимостью 30 PT с ростом данных в 10 PT в год и наличием жестких SLA по времени доставки данных.
* Мы пробовали делать это так, как принято сейчас — Greeenplum для ядра DWH и MapReduce для остального, оно не взлетало.
* Мы упростили всю архитектуру и сделали DWH на одном YTsaurus.

Филипп Козьмин

Яндекс Маркет

* DWH Lead Яндекс Маркета.
* Руководитель дата-инженеров и разработчиков платформенных компонентов.
* Отвечает за IT-ландшафт DWH.
Более 10 лет работы в сфере обработки данных в крупнейших e-com, телеком-компаниях и банках России.

Яндекс Маркет

Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.

Видео