Почему SQL не может быть основным языком для потоковой обработки
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Работая в крупных компаниях, я часто сталкивался с мнением, что батчевую разработку можно переделать на потоковую. Иногда дело заходило дальше и создавались платформы, которые позволяли реализовывать потоковую обработку при помощи SQL. К примеру, в Райфе основой потоковой обработки был SQL, а исполнителем этого SQL - Apache Flink. Подходило это решение не везде, далеко не везде. Давайте на примере Apache Flink разбёремся, где потоковую разработку на SQL невозможно реализовать, где можно - но только с костылями, а где SQL справляется с задачей.
С 2011 года работает в IT. Начинал как backend-разработчик, но в 2016 познакомился с дата-инженерией и затянуло. Сейчас работает в команде Streaming Data Platform, которая развивает инструменты для потоковой обработки данных.