Мнение Программного комитета о докладе
В своем докладе Владимир расскажет, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake.
27 и 28 ноября 2023
Москва, Кампус СКОЛКОВОДоклад принят в программу конференции
В своем докладе Владимир расскажет, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake.
Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в озере данных, что позволяет компаниям более гибко и эффективно анализировать свои данные за счет уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Подобные продукты используют принцип разделения compute и storage, при котором обработка и хранение данных происходит на разных серверах. Несмотря на многочисленные преимущества, разделение compute и storage приводит к серьезному вызову: как обеспечить высокую производительность обработки информации, хранящейся на удаленных серверах? Конкурентоспособен ли такой подход по сравнению с классическими хранилищами данных?
В докладе мы рассмотрим реализацию ключевых оптимизаций, которые позволяют Trino, Presto и Dremio быстро «перемалывать» данные из вашего озера: использование метаданных Parquet и ORC для уменьшения количества зачитываемых данных (partition pruning, project/filter/aggregate pushdown), динамическая фильтрация (runtime filtering), материализованные представления (materialized views), а также многочисленные кэши: кэш метаданных, кэш данных и кэш промежуточных результатов запросов.
Руководит компанией Querify Labs. До этого Владимир занимался разработкой распределенных SQL-движков для Open Source-продуктов Hazelcast и Apache Ignite.
Querify Labs
BigData и машинное обучение
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
Варианты участия
Офлайн-участие
Стоимость конференции постоянно растет — чем ближе к мероприятию, тем дороже.
Текущая стоимость билета — 64000 ₽
Онлайн-участие
Все потоки с докладами (но не потоки с митапами) будут транслироваться нами онлайн.
Текущая стоимость билета — 32000 ₽
Мультибилет
Билет на 2 конференции (HighLoad++ 2024 и TeamLead Conf++ 2024) со скидкой до 30%.
Размер скидки: 30% при покупке онлайн-билета, 20% при покупке офлайн-билета.
Текущая стоимость онлайн мультибилета — 44800 ₽
Корпоративное участие (от 10 билетов)
Для заказа от 10 билетов на очное или онлайн-участие, свяжитесь с нами по partners@ontico.ru.
Передумали покупать?
Расскажите, почему
Благодарим вас за ответ!
Видео, доступные к покупке
Видео FrontendConf 2023
2 октября 2023 — 3 ноября 2023
32000 ₽
Видео HighLoad++ 2023
27 и 28 ноября 2023
32000 ₽
Видео TeamLead Conf++ 2023
30 ноября 2023 и 1 декабря 2023
32000 ₽
Видео DevOpsConf 2024
4 и 5 марта 2024
37500 ₽
Видео Saint HighLoad++ 2024
24 и 25 июня 2024
39500 ₽
Видео Saint TeamLead Conf 2024
27 и 28 июня 2024
37500 ₽
Видео AiConf 2024
26 и 27 сентября 2024
37500 ₽
Видео FrontendConf 2024
30 сентября 2024 и 1 октября 2024
37500 ₽
Видео Industrial++ 2024
21 и 22 октября 2024
37500 ₽
Видео TeamLead Conf++ 2024
27 и 28 ноября 2024
37500 ₽
Видео HighLoad++ 2024
2 и 3 декабря 2024
45000 ₽
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем