Почему SQL не может быть основным языком для потоковой обработки

Data Engineering

Фреймворки
Асинхронное программирование, реактивное программирование
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта

Доклад принят в программу конференции

Целевая аудитория

Дата инженеры, разработчики, архитекторы и все, кто интересуется потоковой обработкой данных.

Тезисы

Работая в крупных компаниях, я часто сталкивался с мнением, что батчевую разработку можно переделать на потоковую. Иногда дело заходило дальше и создавались платформы, которые позволяли реализовывать потоковую обработку при помощи SQL. К примеру, в Райфе основой потоковой обработки был SQL, а исполнителем этого SQL - Apache Flink. Подходило это решение не везде, далеко не везде. Давайте на примере Apache Flink разбёремся, где потоковую разработку на SQL невозможно реализовать, где можно - но только с костылями, а где SQL справляется с задачей.

Максим Буйлин

Райффайзен Банк

С 2011 года работает в IT. Начинал как backend-разработчик, но в 2016 познакомился с дата-инженерией и затянуло. Сейчас работает в команде Streaming Data Platform, которая развивает инструменты для потоковой обработки данных.

Видео