Очереди на PostgreSQL: антипаттерн или реальность жизни?

Архитектура и масштабируемость

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Несмотря на то, что есть специализированные решения под очереди, иногда приходится делать своё, да ещё и на базе данных. Из доклада вы узнаете, почему так и как сделать правильно.

Целевая аудитория

Бэкенд разработчики

Тезисы

Разберем известный антипаттерн очередей на PostgreSQL. Поймем можно ли сделать рабочими такие очереди под большой нагрузкой, если очень хочется. А так же почему в Яндекс Диске для некоторых нагруженных сценариев используем именно такой подход, а не классические очереди

Дмитрий Кривопальцев

Яндекс 360

Тимлид бэкенда Яндекс Диска.

Видео

Другие доклады секции

Архитектура и масштабируемость

Как писать платёжные интеграции на конечных автоматах и не умереть

Игорь Панасюк

Яндекс

DDoS на серверсайд: как мы выжили при x3 нагрузке с ограниченными ресурсами

Артем Букин

VK, VK Реклама

Enterprise Architecture on a Page: новый фреймворк для корпоративной архитектуры

Святослав Котусев

ВШЭ

Программный съем трафика на скорости 400 Gbps: опыт, оптимизации и неочевидные решения

Юрий Станиславович Морозов

Группа компаний «Гарда»

RAG → GraphRAG → LightRAG: как мы трижды переписывали медицинский AI и кратно снизили издержки

Андрей Носов

Raft

Подводные камни DLP-систем: архитектурный анализ

Евгений Аксенов

ГК Солар

In-memory поисковой движок вместо OpenSearch - система проверки SWIFT-платежей своими руками

Николай Кувыркин

Райффайзен Банк

Как мы в Яндекс Еде за 3 месяца построили свой рекламный движок с нуля

Денис Токарев

Яндекс Еда

Зеркала не врут: Traffic Mirroring в OVN

Александра Рукомойникова

K2 Cloud

Как масштабируются блокчейны

Сергей Прилуцкий

MixBytes

Антипаттерн как фича: кросс-неймспейсный garbage collector в Kubernetes

Сергей Петров

РСХБ.цифра

Как мы ускоряли поиск в модели EAV для 13500 атрибутов через ClickHouse.

Александр Залеский

МТС Web Services (MWS)

Архитектура современной антифрод-системы

Федор Васильев

xStack

Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее

Николай Кокоулин

Ви.Tech

Реалтайм-аналитика в распределенной системе

Вадим Зотеев

Яндекс Go

Восстание машин или как хранилища Sage на новое железо заезжали

Руслан Боярский

T-Банк

Планировщик рейта запросов

Михаил Апахов

Яндекс Еда

Воркшоп: «Ломаем геораспределенный Postgres на базе Patroni»

Георгий Меликов

Genesis Core

За гранью очередей: RabbitMQ 4 и его темная сторона stream'ов

Юрий Власов

CDEK

Как поиск авиабилетов в Туту обрабатывает 10000 предложений в секунду: вызовы, архитектура, кейсы оптимизации

Иван Садовой

Туту

Масштабная событийка на практике: пайплайны, ретраи, DLQ и неочевидные сложности

Алексей Терентьев

Яндекс Go

Рекламный Waaagh! Применение орочьих методов для решения хайлоад-задач

Андрей Жуков

Wildberries & Russ

От автоматизации к платформе: эволюция управления инфраструктурой в Sage

Роман Чернышев

Т-Банк

AppMetrica: Миграция профилей на транзакционную запись в YDB для 500к событий в секунду

Павел Пересторонин

Яндекс

От одного контейнера до 4000 RPS: как мы масштабировали GitLab в 3 датацентрах

Максим Степанов

МТС Web Services (MWS)

Эволюция архитектуры платежной системы: сохраняем SLA 99.99 при росте нагрузки в 30 раз

Иван Мареев

ЕДИНЫЙ ЦУПИС

Эволюция Kafka as a Service: от факапа до чилаута

Анастасия Цепелева

РСХБ.цифра

OVN, техдолг и распределёнка: переносим функции облачной сети в SDN из LXC

Владислав Одинцов

K2 Cloud

Performance-driven Development: как сделать торговую систему с минимальными задержками

Алексей Шурыгин

AlphaNova

Transaction Outbox под нагрузкой: как не потерять ни одного события при 100k+ RPS

Олег Мифле

Altenar

Выжимаем облака досуха: как свое железо экономит 90% затрат на большие данные для стартапа

Андрей Ивахненко

Антиплагиат

Ревью архитектурных изменений без шума и пыли

Дмитрий Александров

Яндекс Лавка

Сетевые нереплицируемые диски в облаке: почему, как, а главное — зачем?

Александр Руденко

K2 Cloud