Мнение Программного комитета о докладе
История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб интерфейса.
YTsaurus SPYT: внедряем Spark SQL в массы
Доклад принят в программу конференции
Целевая аудитория
Разработчики платформ обработки данных узнают как построить собственный SQL сервис, дата-инженеры послушают как совладать со Spark сессиями, а неравнодушные к Apache Spark просто полюбуются на новый инструмент поверх этого классного фреймворка.
Тезисы
Apache Spark - замечательный инструмент дата-инженеров, который поддерживает языки Scala, Java, Python и другие. Но что бы не было выбрано, вам неминуемо понадобится установить клиент, подключить библиотеки, настроить окружение. И для сложных расчётов это оправдано, их удобнее писать с кофе в какой-нибудь полюбившейся IDE. Однако, иногда хочется оперативно выполнить SELECT на пару строчек, проверив гипотезу, и продолжить заниматься своими делами.
Именно для этой цели в YTsaurus развивается модуль Query Tracker, позволяющий прямо в браузере запускать SQL-like запросы на разных движках: полноценном MapReduce, Clickhouse или Spark.
В этом докладе я расскажу: как строился сервис быстрых SQL запросов поверх Apache Spark, какие готовые решения принесли пользу, а также что за монстры встретились в этом приключении.
Влюблённый в функциональное программирование, дописыватель Apache Spark для YTsaurus.
Работает внутри инфраструктуры Яндекса, встречается с распределенными системами каждый день.
Яндекс
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Видео
Другие доклады секции
BigData и машинное обучение
