Построение современных lakehouse архитектур с помощью Trino

Архитектуры и масштабируемость

Доклад принят в программу конференции

Тезисы

Lakehouse - это современная архитектура построения аналитических платформ компаний, которая совмещает лучшие качества data warehouse и data lake. Одним из популярных продуктов для построения lakehouse систем является Trino - массивно-параллельный распределенный SQL-движок для выполнения федеративных запросов.

В данном докладе мы обсудим основые сценарии использования и построения lakehouse архитектур, после чего посмотрим как техническая реализация Trino помогает создавать масштабируемые корпоративные аналитические платформы:
- Дезаггрегация storage и compute, которая позволяет масштабировать высичлительные ресурсы без перемещения данных.
- Коннекторы к большому количеству целевых систем с возможностью гибкого pushdown вычислений.
- Продвинутая работа с сырыми данными с использованием современных технологий Apache Iceberg и Delta Lake.
- Кэширование сырых данных на воркерах для уменьшения latency и стоимости работы с object storages.
- Высокопроизводительный массивно-параллельный комплируемый SQL-движок.

Целевая аудитория

Инженеры аналитических департаментов

Владимир руководит компанией Querify Labs, которая помогает технологическим компаниям создавать высокопроизводительные СУБД и data management-продукты. До этого Владимир занимался разработкой распределенных SQL-движков для open-source-продуктов Hazelcast и Apache Ignite.

Querify Labs

Querify Labs помогает технологическим компаниям создавать высокопроизводительные СУБД и data management-продукты.

Видео

Другие доклады секции

Архитектуры и масштабируемость