DataFusion в Tarantool Column Store: ограничения и способы их обхода

В докладе рассмотрим устройство колоночной СУБД для транзакционно-аналитической обработки данных в реальном времени Tarantool Column Store, где в качестве движка запросов используется DataFusion. Это достаточно известный движок с открытым исходным кодом и, казалось бы, легко расширяемый, с превосходной производительностью и богатым функционалом. Однако, тут есть свои нюансы и ограничения. Расскажем о тех, с которыми мы столкнулись при разработке TCS, и о том, какие решения приняли.

В докладе расскажем: - как решили проблему высокого latency обработки запросов из-за перепланирования, - как при разработке шардированного колоночного хранилища решали задачу обработки распределенных SQL запросов, какие идеи пробовали и на чем остановились, - как реализовалили поддержку tree и aggregate индексов для MemCS, сделали анализ фильтров и чем тут помог фаззинг, - какие из патчей смогли уйти в upstream, а где пришлось идти на компромиссы.