Почему SQL не может быть основным языком для потоковой обработки

Data Engineering

Фреймворки
Асинхронное программирование, реактивное программирование
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта

Доклад принят в программу конференции

Целевая аудитория

Дата инженеры, разработчики, архитекторы и все, кто интересуется потоковой обработкой данных.

Тезисы

Работая в крупных компаниях, я часто сталкивался с мнением, что батчевую разработку можно легко переделать на потоковую. Иногда дело заходило дальше и создавались платформы, которые позволяли реализовывать потоковую обработку при помощи SQL. К примеру, в Райфе основой потоковой обработки был SQL, а исполнителем этого SQL - Apache Flink. Подходило это решение не везде, далеко не везде. Давайте на примере Apache Flink разберемся где потоковую разработку на sql невозможно реализовать, где можно только с костылями, а где sql справляется с задачей.

Максим Буйлин

Райффайзен Банк

С 2011 года работает в IT. Начинал как backend-разработчик, но в 2016 познакомился с дата-инженерией и затянуло. Сейчас работает в команде Streaming Data Platform, которая развивает инструменты для потоковой обработки данных.

Видео