Федерация брокеров сообщений и как с ней экономить половину места

Базы данных и системы хранения

Отказоустойчивость

Распределенные системы

Архитектура данных, потоки данных, версионирование

Big Data и Highload в Enterprise

Логи, метрики, ошибки

YDB

6 ноября, 14:40, «Зал 6»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Цель доклада: зритель должен уйти с него с рецептом, как он может сэкономить на хранении логов в своем брокере сообщений. В докладе Андрей Серебрянский почти не будет опираться на закрытые внутри-яндексовые разработки, а если и будет - то обязательно расскажет, как их можно заменить на open source.

Целевая аудитория

Архитекторы платформ для сбора логов. Архитекторы распределенных систем.

Тезисы

Во всех организациях огромный объем передаваемых данных - это логи и метрики бегущих микросервисов. В Яндексе через YDB Topics каждую секунду пишется около 80 Гб логов.
Как разработчик YDB Topics, я расскажу:
- как в Яндексе устроен процесс обработки такого огромного объема логов
- что такое erasure кодирование и почему оно экономит половину места по сравнению с Kafka
- что такое федерации из кластеров брокеров сообщений: как в нее писать и читать, что произойдет при отказах. На примере Kafka и YDB Topics.
- какие недостатки у федерации из кластеров и в каких случаях она не подойдет
- как воспроизвести такой экономичный способ сбора логов на open-source технологиях и что нужно учесть, чтобы сделать из этого решения платформу

Андрей Серебрянский

YDB

Lead Developer в YDB Topics — делают масштабируемый open source-брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас активно развивают Kafka API для YDB Topics и много исследуют, как Kafka ведет себя в том или ином сценарии. Андрей расскажет, какие подводные камни и особенности им удалось раскопать.