Конференция завершена.

Ждем вас

на Saint HighLoad++

в следующий раз!

Почему SQL не может быть основным языком для потоковой обработки

Data Engineering

Фреймворки
Асинхронное программирование, реактивное программирование
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта

Доклад принят в программу конференции

Целевая аудитория

Дата инженеры, разработчики, архитекторы и все, кто интересуется потоковой обработкой данных.

Тезисы

Работая в крупных компаниях, я часто сталкивался с мнением, что батчевую разработку можно переделать на потоковую. Иногда дело заходило дальше и создавались платформы, которые позволяли реализовывать потоковую обработку при помощи SQL. К примеру, в Райфе основой потоковой обработки был SQL, а исполнителем этого SQL - Apache Flink. Подходило это решение не везде, далеко не везде. Давайте на примере Apache Flink разбёремся, где потоковую разработку на SQL невозможно реализовать, где можно - но только с костылями, а где SQL справляется с задачей.

Максим Буйлин

Райффайзен Банк

С 2011 года работает в IT. Начинал как backend-разработчик, но в 2016 познакомился с дата-инженерией и затянуло. Сейчас работает в команде Streaming Data Platform, которая развивает инструменты для потоковой обработки данных.

Видео