Почему SQL не может быть основным языком для потоковой обработки

Data Engineering

Фреймворки
Асинхронное программирование, реактивное программирование
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Дата инженеры, разработчики, архитекторы и все, кто интересуется потоковой обработкой данных.

Тезисы

Работая в крупных компаниях, я часто сталкивался с мнением, что батчевую разработку можно легко переделать на потоковую. Иногда дело заходило дальше и создавались платформы, которые позволяли реализовывать потоковую обработку при помощи SQL. К примеру, в Райфе основой потоковой обработки был SQL, а исполнителем этого SQL - Apache Flink. Подходило это решение не везде, далеко не везде. Давайте на примере Apache Flink разберемся где потоковую разработку на sql невозможно реализовать, где можно только с костылями, а где sql справляется с задачей.

Максим Буйлин

Райффайзен Банк

С 2011 года работает в IT. Начинал как backend-разработчик, но в 2016 познакомился с дата-инженерией и затянуло. Сейчас работает в команде Streaming Data Platform, которая развивает инструменты для потоковой обработки данных.

Видео