AppMetrica: Миграция профилей на транзакционную запись в YDB для 500к событий в секунду

Архитектура и масштабируемость

C/C++

Распределенные системы

Архитектура данных, потоки данных, версионирование

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Мечтали о транзакционной целостности на стыке очереди и базы данных, хранящей состояние? Приходите послушать практический высоконагруженный кейс от Яндекс AppMetrica о хранении очереди и состояния в едином транзакционном пространстве YDB.

Целевая аудитория

C++ разработчики/интересующиеся потоковой обработкой данных разработчики.

Тезисы

Долгое время мы самостоятельно обеспечивали согласованность шины данных и состояния в YDB, но с появлением транзакций между топиками и таблицами в YDB эту работу забрала на себя СУБД. Приходите послушать про то, с какими сложностями мы сталкивались при самостоятельном обеспечении консистентности, почему это боль и как миграция на транзакционную запись ее решает.

Павел Пересторонин

Яндекс

опыт разработки 5 лет, из которых 4 работаю в Яндекс Метрике и 3 года руковожу группой конвейерных технологий и инфраструктурой Движка Метрики. Играю в хоккей, прыгаю сальто.

Видео

Другие доклады секции

Архитектура и масштабируемость

Подводные камни DLP-систем: архитектурный анализ

Евгений Аксенов

ГК Солар

Программный съем трафика на скорости 400 Gbps: опыт, оптимизации и неочевидные решения

Юрий Станиславович Морозов

Группа компаний «Гарда»

Реалтайм-аналитика в распределенной системе

Вадим Зотеев

Яндекс Go

От автоматизации к платформе: эволюция управления инфраструктурой в Sage

Роман Чернышев

Т-Банк

Сетевые нереплицируемые диски в облаке: почему, как, а главное — зачем?

Александр Руденко

K2 Cloud

OVN, техдолг и распределёнка: переносим функции облачной сети в SDN из LXC

Владислав Одинцов

K2 Cloud

Планировщик рейта запросов

Михаил Апахов

Яндекс Еда

Как масштабируются блокчейны

Сергей Прилуцкий

MixBytes

Ревью архитектурных изменений без шума и пыли

Дмитрий Александров

Яндекс Лавка

Масштабная событийка на практике: пайплайны, ретраи, DLQ и неочевидные сложности

Алексей Терентьев

Яндекс Go

Архитектура современной антифрод-системы

Федор Васильев

xStack

Воркшоп: «Ломаем геораспределенный Postgres на базе Patroni»

Георгий Меликов

Genesis Core

Антипаттерн как фича: кросс-неймспейсный garbage collector в Kubernetes

Сергей Петров

РСХБ.цифра

Эволюция Kafka as a Service: от факапа до чилаута

Анастасия Цепелева

РСХБ.цифра

Enterprise Architecture on a Page: новый фреймворк для корпоративной архитектуры

Святослав Котусев

ВШЭ

Как поиск авиабилетов в Туту обрабатывает 10000 предложений в секунду: вызовы, архитектура, кейсы оптимизации

Иван Садовой

Туту

Как писать платёжные интеграции на конечных автоматах и не умереть

Игорь Панасюк

Яндекс

In-memory поисковой движок вместо OpenSearch - система проверки SWIFT-платежей своими руками

Николай Кувыркин

Райффайзен Банк

RAG → GraphRAG → LightRAG: как мы трижды переписывали медицинский AI и кратно снизили издержки

Андрей Носов

Raft

Зеркала не врут: Traffic Mirroring в OVN

Александра Рукомойникова

K2 Cloud

От одного контейнера до 4000 RPS: как мы масштабировали GitLab в 3 датацентрах

Максим Степанов

МТС Web Services (MWS)

Transaction Outbox под нагрузкой: как не потерять ни одного события при 100k+ RPS

Олег Мифле

Altenar

Эволюция архитектуры платежной системы: сохраняем SLA 99.99 при росте нагрузки в 30 раз

Иван Мареев

ЕДИНЫЙ ЦУПИС

За гранью очередей: RabbitMQ 4 и его темная сторона stream'ов

Юрий Власов

CDEK

DDoS на серверсайд: как мы выжили при x3 нагрузке с ограниченными ресурсами

Артем Букин

VK, VK Реклама

Выжимаем облака досуха: как свое железо экономит 90% затрат на большие данные для стартапа

Андрей Ивахненко

Антиплагиат

Performance-driven Development: как сделать торговую систему с минимальными задержками

Алексей Шурыгин

AlphaNova

Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее

Николай Кокоулин

Ви.Tech

Как мы в Яндекс Еде за 3 месяца построили свой рекламный движок с нуля

Денис Токарев

Яндекс Еда

Восстание машин или как хранилища Sage на новое железо заезжали

Руслан Боярский

T-Банк

Очереди на PostgreSQL: антипаттерн или реальность жизни?

Дмитрий Кривопальцев

Яндекс 360

Как мы ускоряли поиск в модели EAV для 13500 атрибутов через ClickHouse.

Александр Залеский

МТС Web Services (MWS)

Рекламный Waaagh! Применение орочьих методов для решения хайлоад-задач

Андрей Жуков

Wildberries & Russ