Федерация брокеров сообщений и как с ней экономить половину места
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Во всех организациях огромный объем передаваемых данных - это логи и метрики бегущих микросервисов. В Яндексе через YDB Topics каждую секунду пишется около 80 Гб логов.
Как разработчик YDB Topics, я расскажу:
- как в Яндексе устроен процесс обработки такого огромного объема логов
- что такое erasure кодирование и почему оно экономит половину места по сравнению с Kafka
- что такое федерации из кластеров брокеров сообщений: как в нее писать и читать, что произойдет при отказах. На примере Kafka и YDB Topics.
- какие недостатки у федерации из кластеров и в каких случаях она не подойдет
- как воспроизвести такой экономичный способ сбора логов на open-source технологиях и что нужно учесть, чтобы сделать из этого решения платформу
Lead Developer в YDB Topics — делают масштабируемый open source-брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас активно развивают Kafka API для YDB Topics и много исследуют, как Kafka ведет себя в том или ином сценарии. Андрей расскажет, какие подводные камни и особенности им удалось раскопать.
Видео
Другие доклады секции
Базы данных и системы хранения
