Как мы построили NRT-отчётность в Альфа-Банке: Debezium, Kafka, Flink, Tarantool

Архитектура и масштабируемость

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Аналитики данных, инженеры данных, архитекторы

Тезисы

Сотрудники отделений тратили до 35 минут в день на ручное заполнение Excel-таблиц, чтобы управлять продажами. Мы решили эту проблему, построив NRT-отчётность (Near Real Time) на базе Debezium, Kafka, Flink и Tarantool. В результате данные о продажах стали доступны через минуту после операции, исчезли ручные сверки, а высвобожденное время персонала эквивалентно обслуживанию более 2000 клиентов ежедневно. Обращаясь к стеку, расскажу, как мы интегрировали 15 источников, агрегировали данные во Flink и использовали Tarantool для сохранения высокой пропускной способности передачи данных.

Даниил Забияка

АО Альфа-Банк

Начальник отдела аналитики розничных продаж

Видео

Другие доклады секции

Архитектура и масштабируемость

Архитектура как код: жизнь в эпоху ИИ (предварительное название)

Никита Киселев

Независимый спикер

От Event Driven к гарантированной консистентности

Наумченко Николай

X5 Tech

SAST за 5 месяцев вместо 5 лет: Как freestanding Zig победил TTM и OOM на Enterprise-масштабах

Кирилл Орлов

Независимый исследователь

Эволюция борьбы с гонками в WMS Ozon: как мы обрабатываем миллионы операций и избегаем рассинхронизации данных

Максим Рауба

Ozon

Как мы управляем сетевыми и локальными дисками в MWS Cloud Platform

Дмитрий Анисов

MWS Cloud Platform

Ускоряем кандидатогенерацию Рекламы Яндекса: три шага к потоковой обработке

Руслан Кулагин

Яндекс.Технологии

Как мы настроили Elasticsearch на 35 тыс+ RPS и улучшили бизнес-процессы

Владимир Панчук

АО Альфа-Банк

От зарядной станции до городской платформы: как построить цифровую экосистему электрозарядной инфраструктуры

Гусейн Римиханов

МТТЕХ

Анти-HighLoad: как мы построили SaaS на 15 антипаттернах и выжили

Борис Лактюшин

ОринаТех

Система не упала. Она опоздала: как данные становятся бесполезными раньше, чем сервис становится недоступным

Евгений Сулейманов

ПрозиТех

Опыт миграции данных из Oracle через Debezium в PostgreSQL : 200+ связанных таблиц одним махом.

Владимир Лытарь

РТЛабс

Платформа транзакционных данных и банковских документов: предпосылки, состав, архитектура и немного про AI

Лев Осипов

Райффайзен Банк

Как укротить 100 000 событий/сек с помощью SQLite, Docker и Claude

Алексей Захаров

Positive Technologies

Как устроен стриминг агента в чат поддержки

Олег Мифле

Т-Банк

One-cloud VK: эволюция облачной платформы от сервиса для Одноклассников до ядра всей инфраструктуры компании

Руслан Исмагилов

VK

Конфигурация без кворума: causal consistency поверх асинхронной мастер-мастер репликации

Олег Бабин

Веб-Сервер (Angie Software)

Краш-тест своего хранилища артефактов: от методики до результатов

Дмитрий Ключников

CodeScoring

Как масштабировать DQ после внедрения базовой автоматизации

Дарья Герасина

Инновационный центр "Безопасный транспорт"

Переход в проектировании от системного подхода к средовому

Руслан Сафин

Бындюсофт

io_uring бесполезен в nginx? – Как мы переосмыслили ввод-вывод, создав новый event-модуль для Angie.

Родион Николов

Angie Software

Проектируем api gateway на 2.5 миллиона RPS

Никита Галушко

VK, ВКонтакте

Миграция системы авторизации и аутентификации Госуслуг c Oracle на PostgreSQL

Громов Петр

РТЛабс

Как мы превратили рекламный движок в распределённый кеш и сэкономили треть железа

Артемий Новиков

Яндекс

Как верифицировать сделанное агентом

Хабибуллин Ринат

ООО Коди

Конвергентная архитектура как основа Web4

Дмитрий Карловский

Giper Dev

AI-дубляж видео без обязательного дата-центра: гибридный пайплайн

Дмитрий Плотников

RevovoxAI

Behaviour Trees в инфраструктуре: как мы переписывали стейт-машину хостового агента деплой-платформы

Сергей Курганов

Yandex Infrastructure

От раскопок до космоса: permission-система без RBAC, которая вытащила нас из 2-летнего слоя if-ов и не тормозит, когда права плодятся

Анна Ланда

ecom.tech

Keeping Data Consistent in EDA: Lessons from Building Our Event Store

Иван Базалий

ati.su

Отечественная кластерная суперкомпьютерная OS: Правда или вымысел

Сторожилов Илья

КуБорд (ООО "ОКТ")

Data-Oriented Design в бэкенде: как уплощение структур и SoA экономят сотни ядер CPU

Иван Синицын

Ozon Tech

Гарантированная доставка на Госуслугах: миллиард доставленных заявлений в год

Сергей Станиславский

РТЛабс

Разработка распредееленного карточного процессинга и масштабирование под нагрузкой

Руслан Маркелов

Сбер

io_uring бесполезен в nginx? – Как мы переосмыслили ввод-вывод, создав новый event-модуль для Angie.

Родион Николов

Angie Software

Как приземлить форк LangFlow на банковский Энтерпрайз: от инструмента ai автоматизации для сотрудников до масштабируемого ассистента на миллион клиентов

Георгий Дьячков

Альфа-банк

Ни пакета мимо: Новый подход к live-миграции виртуальных машин

Александр Попов

VK Tech, VK Cloud

Low-code AI Workflows — потолок надежности. Как мы строили durable execution и не сошли с ума

Владислав Янковский

Cloud.ru

Разработка через капсулы: от аккумуляции инженерного опыта до передачи его AI-агентам

Сергей Кучин

Lad

Как мы изобрели светофор в кластере Ignite

Денис Старакожев

Магнит

Capacity planning по ТЗ на годы вперёд

Алексей Ивахин

ООО МТТЕХ

Отказоустойчивость как инструмент для оптимизации инфраструктурных расходов

Сергей Лавров

Авиасейлс

Хаос-инжиниринг требований: системный анализ для архитекторов, переживших production

Борисова Дарья Игоревна

ПСБ

Декомпозировать нельзя остановиться: как мы Биллинг Яндекс 360 делили

Илья Иванов

Яндекс 360

Новый стек, прежний масштаб: считаем, кто из десятков миллионов клиентов увидит рекламу

Софья Калинина

Ростелеком ИТ

Нужны ли 1000 архитекторов для управления ИТ-ландшафтом в 1000+ систем. Проверка концепции

Николай Бардушко

Банк ВТБ

HypEx на Spark: как мы масштабировали проведение пилотов

Антон Катков

Сбер

Адаптер к оракулу: как спрятать хаос внешнего протокола за стабильным контрактом

Борисова Дарья Игоревна

ПСБ

От реалтайм-метрик А/Б к платформе RT-сигналов: как устроен CORTe

Ставро Гаязов

Яндекс

Exactly once - где она обитает?

Андрей Цветцих

Т-Банк

150 млн событий и 10 мс на инференс: строим data-intensive систему без вендорных иллюзий

Олег Проскуряков

ВТБ

Платформа для «энтерпрайз-вайбкодинга»: как, почему, с кем и зачем мы прыгнули в открытый космос

Александр Сербул

Битрикс24

Как общие папки влезли в существующий движок синхронизации Диска

Дмитрий Соломонов

Yandex 360

Три архитектуры одного агента-аналитика: как выбрать между монолитом, собственным рантаймом и открытым фреймворком

Дмитрий Ширшов

Альфа-Банк

Итак, вы решили сделать аудит: практическое руководство по разбору боевой высоконагруженной системы

Павел Лукьянов

Itogo.app

FinCPU: убираем транзакционную БД из hot path финансового процессинга

Алексей Яговкин

Яндекс

Гибридная схема балансирования нагрузки, или как не выбирать между адаптивностью, надежностью и resilience

Павел Михайлик

Инфосистемы Джет

Когда Kubernetes уже не при чём: три расследования масштабируемости в облаке

Кирилл Наливкин

Yandex Cloud

Поиск 360: как готовить поиск к агентской нагрузке на примере почты и календаря

Иван Дудинов

Яндекс 360

Миллионы транзакций в день - как с этим справиться и не пропустить мошенников?

Арнольд Сааков

Альфа банк

IPSec VPN на скоростях NGFW: как выжать максимум из железа и не потерять в безопасности

Алексей Дядин

АО ТризТех

От файла до премьеры: архитектура видеопроцессинга под большой нагрузкой

Николай Тиунов

Яндекс

Один медленный webhook тормозит всех: как изолировать доставку без очереди на каждого получателя

Антон Лаврентьев

Яндекс