Как масштабировать DQ после внедрения базовой автоматизации

Архитектура и масштабируемость

Отказоустойчивость

Архитектура данных, потоки данных, версионирование

Масштабирование с нуля

Автоматизация разработки и тестирования

Обработка данных

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Дата-инженеры, которые развивают DQ или внутренние платформенные инструменты. Аналитики и владельцы витрин, которые участвуют в описании и сопровождении проверок. Тимлиды и архитекторы, которым важно понимать, как эволюционируют внутренние data-инструменты при росте масштаба.

Тезисы

Доклад о том, как уже работающий DQ-контур начинает упираться в новые ограничения и что нужно менять дальше: поддержку БД, модель запуска нерегулярных проверок, механизм автоматических проверок и процесс обновления комментариев. На реальном примере покажем путь от первой автоматизации к более зрелой и расширяемой архитектуре DQ.

Дарья Герасина

Инновационный центр "Безопасный транспорт"

Начала свой путь в инженерии данных в 2023 году, а в 2025 году работает дата-инженером в Инновационном центре "Безопасный транспорт". В рамках проекта занимается интеграцией данных, развитием и сопровождением витрин. управлением потоками данных, процессами загрузки и преобразования данных, контролем качества данных и мониторингом стабильной работы сервисов.

Видео

Другие доклады секции

Архитектура и масштабируемость

Exactly once - где она обитает?

Андрей Цветцих

Т-Банк

IPSec VPN на скоростях NGFW: как выжать максимум из железа и не потерять в безопасности

Алексей Дядин

АО ТризТех

SAST за 5 месяцев вместо 5 лет: Как freestanding Zig победил TTM и OOM на Enterprise-масштабах

Кирилл Орлов

Независимый исследователь

150 млн событий и 10 мс на инференс: строим data-intensive систему без вендорных иллюзий

Олег Проскуряков

ВТБ

Анти-HighLoad: как мы построили SaaS на 15 антипаттернах и выжили

Борис Лактюшин

ОринаТех

Миграция системы авторизации и аутентификации Госуслуг c Oracle на PostgreSQL

Громов Петр

РТЛабс

HypEx на Spark: как мы масштабировали проведение пилотов

Антон Катков

Сбер

Как мы построили NRT-отчётность в Альфа-Банке: Debezium, Kafka, Flink, Tarantool

Даниил Забияка

АО Альфа-Банк

Как мы настроили Elasticsearch на 35 тыс+ RPS и улучшили бизнес-процессы

Владимир Панчук

АО Альфа-Банк

Keeping Data Consistent in EDA: Lessons from Building Our Event Store

Иван Базалий

ati.su

Архитектура как код: жизнь в эпоху ИИ (предварительное название)

Никита Киселев

Независимый спикер

Отказоустойчивость как инструмент для оптимизации инфраструктурных расходов

Сергей Лавров

Авиасейлс

Когда Kubernetes уже не при чём: три расследования масштабируемости в облаке

Кирилл Наливкин

Yandex Cloud

Переход в проектировании от системного подхода к средовому

Руслан Сафин

Бындюсофт

Конфигурация без кворума: causal consistency поверх асинхронной мастер-мастер репликации

Олег Бабин

Веб-Сервер (Angie Software)

Гарантированная доставка на Госуслугах: миллиард доставленных заявлений в год

Сергей Станиславский

РТЛабс

Как мы управляем сетевыми и локальными дисками в MWS Cloud Platform

Дмитрий Анисов

MWS Cloud Platform

Система не упала. Она опоздала: как данные становятся бесполезными раньше, чем сервис становится недоступным

Евгений Сулейманов

ПрозиТех

От раскопок до космоса: permission-система без RBAC, которая вытащила нас из 2-летнего слоя if-ов и не тормозит, когда права плодятся

Анна Ланда

ecom.tech

Behaviour Trees в инфраструктуре: как мы переписывали стейт-машину хостового агента деплой-платформы

Сергей Курганов

Yandex Infrastructure

От файла до премьеры: архитектура видеопроцессинга под большой нагрузкой

Николай Тиунов

Яндекс

FinCPU: убираем транзакционную БД из hot path финансового процессинга

Алексей Яговкин

Яндекс

Проектируем api gateway на 2.5 миллиона RPS

Никита Галушко

VK, ВКонтакте

Разработка через капсулы: от аккумуляции инженерного опыта до передачи его AI-агентам

Сергей Кучин

Lad

Как укротить 100 000 событий/сек с помощью SQLite, Docker и Claude

Алексей Захаров

Positive Technologies

Data-Oriented Design в бэкенде: как уплощение структур и SoA экономят сотни ядер CPU

Иван Синицын

Ozon Tech

Декомпозировать нельзя остановиться: как мы Биллинг Яндекс 360 делили

Илья Иванов

Яндекс 360

Нужны ли 1000 архитекторов для управления ИТ-ландшафтом в 1000+ систем. Проверка концепции

Николай Бардушко

Банк ВТБ

Как мы превратили рекламный движок в распределённый кеш и сэкономили треть железа

Артемий Новиков

Яндекс

Ни пакета мимо: Новый подход к live-миграции виртуальных машин

Александр Попов

VK Tech, VK Cloud

Как устроен стриминг агента в чат поддержки

Олег Мифле

Т-Банк

Low-code AI Workflows — потолок надежности. Как мы строили durable execution и не сошли с ума

Владислав Янковский

Cloud.ru

io_uring бесполезен в nginx? – Как мы переосмыслили ввод-вывод, создав новый event-модуль для Angie.

Родион Николов

Angie Software

Как мы изобрели светофор в кластере Ignite

Денис Старакожев

Магнит

Краш-тест своего хранилища артефактов: от методики до результатов

Дмитрий Ключников

CodeScoring

Как верифицировать сделанное агентом

Хабибуллин Ринат

ООО Коди

Как приземлить форк LangFlow на банковский Энтерпрайз: от инструмента ai автоматизации для сотрудников до масштабируемого ассистента на миллион клиентов

Георгий Дьячков

Альфа-банк

Гибридная схема балансирования нагрузки, или как не выбирать между адаптивностью, надежностью и resilience

Павел Михайлик

Инфосистемы Джет

Capacity planning по ТЗ на годы вперёд

Алексей Ивахин

ООО МТТЕХ

От реалтайм-метрик А/Б к платформе RT-сигналов: как устроен CORTe

Ставро Гаязов

Яндекс

Опыт миграции данных из Oracle через Debezium в PostgreSQL : 200+ связанных таблиц одним махом.

Владимир Лытарь

РТЛабс

Разработка распредееленного карточного процессинга и масштабирование под нагрузкой

Руслан Маркелов

Сбер

AI-дубляж видео без обязательного дата-центра: гибридный пайплайн

Дмитрий Плотников

RevovoxAI

Миллионы транзакций в день - как с этим справиться и не пропустить мошенников?

Арнольд Сааков

Альфа банк

Ускоряем кандидатогенерацию Рекламы Яндекса: три шага к потоковой обработке

Руслан Кулагин

Яндекс.Технологии

От зарядной станции до городской платформы: как построить цифровую экосистему электрозарядной инфраструктуры

Гусейн Римиханов

МТТЕХ

Конвергентная архитектура как основа Web4

Дмитрий Карловский

Giper Dev

Новый стек, прежний масштаб: считаем, кто из десятков миллионов клиентов увидит рекламу

Софья Калинина

Ростелеком ИТ

Хаос-инжиниринг требований: системный анализ для архитекторов, переживших production

Борисова Дарья Игоревна

ПСБ

Поиск 360: как готовить поиск к агентской нагрузке на примере почты и календаря

Иван Дудинов

Яндекс 360

Отечественная кластерная суперкомпьютерная OS: Правда или вымысел

Сторожилов Илья

КуБорд (ООО "ОКТ")

Итак, вы решили сделать аудит: практическое руководство по разбору боевой высоконагруженной системы

Павел Лукьянов

Itogo.app

io_uring бесполезен в nginx? – Как мы переосмыслили ввод-вывод, создав новый event-модуль для Angie.

Родион Николов

Angie Software

Один медленный webhook тормозит всех: как изолировать доставку без очереди на каждого получателя

Антон Лаврентьев

Яндекс

Три архитектуры одного агента-аналитика: как выбрать между монолитом, собственным рантаймом и открытым фреймворком

Дмитрий Ширшов

Альфа-Банк

One-cloud VK: эволюция облачной платформы от сервиса для Одноклассников до ядра всей инфраструктуры компании

Руслан Исмагилов

VK

Платформа для «энтерпрайз-вайбкодинга»: как, почему, с кем и зачем мы прыгнули в открытый космос

Александр Сербул

Битрикс24

Адаптер к оракулу: как спрятать хаос внешнего протокола за стабильным контрактом

Борисова Дарья Игоревна

ПСБ

Как общие папки влезли в существующий движок синхронизации Диска

Дмитрий Соломонов

Yandex 360

От Event Driven к гарантированной консистентности

Наумченко Николай

X5 Tech

Платформа транзакционных данных и банковских документов: предпосылки, состав, архитектура и немного про AI

Лев Осипов

Райффайзен Банк

Эволюция борьбы с гонками в WMS Ozon: как мы обрабатываем миллионы операций и избегаем рассинхронизации данных

Максим Рауба

Ozon