Мнение Программного комитета о докладе
YTsaurus — это будущее DWH, наш новый герой, который подвинет Hadoop. Приходите на доклад, чтобы в этом убедиться.
YTsaurus — это будущее DWH, и в Яндекс Маркете оно наступило
Доклад принят в программу конференции
Целевая аудитория
Эксперты в области инженерии хранилищ данных.
Эксперты в области обработки крупных данных.
CDO/CTO.
Тезисы
* К концу 2022 года мы должны были построить хранилище вместимостью 30 PT с ростом данных в 10 PT в год и наличием жестких SLA по времени доставки данных.
* Мы пробовали делать это так, как принято сейчас — Greeenplum для ядра DWH и MapReduce для остального, оно не взлетало.
* Мы упростили всю архитектуру и сделали DWH на одном YTsaurus.
* DWH Lead Яндекс Маркета.
* Руководитель дата-инженеров и разработчиков платформенных компонентов.
* Отвечает за IT-ландшафт DWH.
Более 10 лет работы в сфере обработки данных в крупнейших e-com, телеком-компаниях и банках России.
Яндекс Маркет
Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.
Видео
Другие доклады секции
BigData и машинное обучение
