Transaction Outbox под нагрузкой: как не потерять ни одного события при 100k+ RPS

Архитектура и масштабируемость

6 ноября, 10:00, «Зал 3»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как гарантировать доставку каждого события при экстремальных нагрузках? В этом докладе разберем оптимизацию WAL, zero-copy публикацию и асинхронное чтение с реплик. Плюсом — когда Outbox превращается в антипаттерн. Только практика, а не теория!

Целевая аудитория

Разработчики распределенных систем, архитекторы, SRE.

Тезисы

Когда ваш сервис обрабатывает сотни тысяч транзакций в секунду, потеря даже одного события может стоить бизнесу миллионы. Transaction Outbox кажется простым паттерном, пока не начинает ломаться под реальной нагрузкой: WAL переполняется, реплики отстают на часы, а CDC-коннекторы падают от back-pressure.

Я помогаю масштабировать событийную архитектуру от тысяч до сотен тысяч событий в секунду. В докладе поделюсь болезненными уроками: как сделать Outbox под 100k+ событий/сек и как правильно оптимизировать WAL.

Вы узнаете конкретные техники оптимизации: от zero-copy публикации до асинхронного чтения с реплик. Разберем архитектурные решения для горизонтального масштабирования и построения observability, которые действительно помогут во время ночного инцидента.

И главное — обсудим честно, когда Outbox становится антипаттерном и пора переходить к другим решениям.

Олег Мифле

Altenar

Team leader.

Видео

Другие доклады секции

Архитектура и масштабируемость

Восстание машин или как хранилища Sage на новое железо заезжали

Руслан Боярский

T-Банк

Подводные камни DLP-систем: архитектурный анализ

Евгений Аксенов

ГК Солар

Как мы в Яндекс Еде за 3 месяца построили свой рекламный движок с нуля

Денис Токарев

Яндекс Еда

Как поиск авиабилетов в Туту обрабатывает 10000 предложений в секунду: вызовы, архитектура, кейсы оптимизации

Иван Садовой

Туту

Performance-driven Development: как сделать торговую систему с минимальными задержками

Алексей Шурыгин

AlphaNova

Программный съем трафика на скорости 400 Gbps: опыт, оптимизации и неочевидные решения

Юрий Станиславович Морозов

Группа компаний «Гарда»

Реалтайм-аналитика в распределенной системе

Вадим Зотеев

Яндекс Go

AppMetrica: Миграция профилей на транзакционную запись в YDB для 500к событий в секунду

Павел Пересторонин

Яндекс

In-memory поисковой движок вместо OpenSearch - система проверки SWIFT-платежей своими руками

Николай Кувыркин

Райффайзен Банк

Масштабная событийка на практике: пайплайны, ретраи, DLQ и неочевидные сложности

Алексей Терентьев

Яндекс Go

Как масштабируются блокчейны

Сергей Прилуцкий

MixBytes

Эволюция Kafka as a Service: от факапа до чилаута

Анастасия Цепелева

РСХБ.цифра

Как мы ускоряли поиск в модели EAV для 13500 атрибутов через ClickHouse.

Александр Залеский

МТС Web Services (MWS)

Архитектура современной антифрод-системы

Федор Васильев

xStack

Как писать платёжные интеграции на конечных автоматах и не умереть

Игорь Панасюк

Яндекс

OVN, техдолг и распределёнка: переносим функции облачной сети в SDN из LXC

Владислав Одинцов

K2 Cloud

Планировщик рейта запросов

Михаил Апахов

Яндекс Еда

Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее

Николай Кокоулин

Ви.Tech

Эволюция архитектуры платежной системы: сохраняем SLA 99.99 при росте нагрузки в 30 раз

Иван Мареев

ЕДИНЫЙ ЦУПИС

Зеркала не врут: Traffic Mirroring в OVN

Александра Рукомойникова

K2 Cloud

Выжимаем облака досуха: как свое железо экономит 90% затрат на большие данные для стартапа

Андрей Ивахненко

Антиплагиат

Сетевые нереплицируемые диски в облаке: почему, как, а главное — зачем?

Александр Руденко

K2 Cloud

От автоматизации к платформе: эволюция управления инфраструктурой в Sage

Роман Чернышев

Т-Банк

Воркшоп: «Ломаем геораспределенный Postgres на базе Patroni»

Георгий Меликов

Genesis Core

Рекламный Waaagh! Применение орочьих методов для решения хайлоад-задач

Андрей Жуков

Wildberries & Russ

Антипаттерн как фича: кросс-неймспейсный garbage collector в Kubernetes

Сергей Петров

РСХБ.цифра

За гранью очередей: RabbitMQ 4 и его темная сторона stream'ов

Юрий Власов

CDEK

Очереди на PostgreSQL: антипаттерн или реальность жизни?

Дмитрий Кривопальцев

Яндекс 360

От одного контейнера до 4000 RPS: как мы масштабировали GitLab в 3 датацентрах

Максим Степанов

МТС Web Services (MWS)

RAG → GraphRAG → LightRAG: как мы трижды переписывали медицинский AI и кратно снизили издержки

Андрей Носов

Raft

Ревью архитектурных изменений без шума и пыли

Дмитрий Александров

Яндекс Лавка

Enterprise Architecture on a Page: новый фреймворк для корпоративной архитектуры

Святослав Котусев

ВШЭ

DDoS на серверсайд: как мы выжили при x3 нагрузке с ограниченными ресурсами

Артем Букин

VK, VK Реклама