Как обеспечить единую, масштабируемую и прозрачную модель авторизации в Lakehouse без даунтайма и с минимальным операционным циклом? 

Безопасность высоконагруженных систем

Базы данных / другое

Архитектура данных, потоки данных, версионирование

Слабо связанная архитектура

Безопасность от планирования до эксплуатации

Хранилища

Обработка данных

Теория

Безопасность

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Для архитекторов, инфобезов, devops, SRE у которых стоит задача удобной организации доступа в разнородной среде Lakehouse/Data Mesh, у которой отсутствует готовый подход к авторизации (и подход классического Data Lake тут не работает)

Тезисы

В условиях роста числа дата-хабов и перехода к архитектуре дата-меша, контроль доступа становится критически важным и сложным. 
У нас — 15 дата-хабов, ~60 тысяч запросов в минуту к OPA, сотни схем, тысяч таблиц и бакетов S3, тысячи пользователей. 
Единая точка контроля доступа в дата-меше: OPA/OPAL в Lakehouse для Trino + S3 (и других технологий)

В докладе покажем: 
■ как мы построили централизованную систему политик на OPA/OPAL + Ranger; 
■ как это работает в продакшене с высокой нагрузкой (~1K RPS); 
■ как организован мониторинг, логирование и отладка; 
■ какие подводные камни встретились в Rego и производительности; 
■ как готовимся к автотестированию политик и контролю изменений;
■ продемонстрируем в live-режиме пример работы OPA