Практическое руководство по разработке коннекторов для Apache Flink

Data Engineering

Доклад принят в программу конференции

Целевая аудитория

разработчики DMP, дата-инженеры, руководители DWH

Тезисы

Внедряя Apache Flink в свои процессы обработки данных, возникают потребности по реализации новых коннекторов или модификации существующих. В этом докладе я хочу рассказать некоторые детали процесса разработки различных видов коннекторов (source, sink, lookup), а также дам несколько практических советов, которые позволят разработать производительный коннектор с удобным API и возможностями для кастомизации.

Руководитель группы развития потоковой обработки данных в Yandex Go.

Большую часть карьеры занимался разработкой различных ETL систем. Разрабатывал NRT процессинг в Belka Games. В Яндексе работаю над развитием платформы по обработке потоковых данных на Apache Flink.

Видео