Федерация брокеров сообщений и как с ней экономить половину места

Базы данных и системы хранения

Отказоустойчивость

Распределенные системы

Архитектура данных, потоки данных, версионирование

Big Data и Highload в Enterprise

Логи, метрики, ошибки

YDB

7 ноября, 13:30, «Зал C1»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Цель доклада: зритель должен уйти с него с рецептом, как он может сэкономить на хранении логов в своем брокере сообщений. В докладе Андрей Серебрянский почти не будет опираться на закрытые внутрияндексовые разработки, а если и будет — то обязательно расскажет, как их можно заменить на open source.

Целевая аудитория

Архитекторы платформ для сбора логов. Архитекторы распределенных систем.

Тезисы

Во всех организациях огромный объем передаваемых данных — это логи и метрики бегущих микросервисов. В Яндексе через YDB Topics каждую секунду пишется около 80 ГБ логов.

Как разработчик YDB Topics, я расскажу:
* как в Яндексе устроен процесс обработки такого огромного объема логов;
* что такое erasure кодирование и почему оно экономит половину места по сравнению с Kafka;
* что такое федерации из кластеров брокеров сообщений: как в них писать и читать, что произойдет при отказах. На примере Kafka и YDB Topics;
* какие недостатки у федерации из кластеров и в каких случаях она не подойдет;
* как воспроизвести такой экономичный способ сбора логов на open-source-технологиях и что нужно учесть, чтобы сделать из этого решения платформу.

Андрей Серебрянский

YDB

Lead Developer в YDB Topics — делают масштабируемый open-source-брокер сообщений, на котором работает Яндекс и Yandex Cloud.

Сейчас активно развивают Kafka API для YDB Topics и много исследуют, как Kafka ведет себя в том или ином сценарии. Андрей расскажет, какие подводные камни и особенности им удалось раскопать.