Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия

Архитектура

Микросервисы, SOA
Отказоустойчивость
Синхронизация данных, параллельная обработка, CDN
Хранилища
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Попытка использовать Apache Kafka как единственный источник знаний — не очень хорошая идея. Рассказ о том, почему так и как именно это стреляет в ноги.

Целевая аудитория

Инженеры (разработчики, архитекторы), которые планируют использовать или уже используют Apache Kafka в своих проектах.

Тезисы

Вы хотите использовать Apache Kafka в своих системах? А может быть, уже это делаете? Мы — да и много, но местами мы ее используем не только как систему обмена сообщениями, но и как хранилище данных. Это хорошо или плохо? Удобно или только боль? На эти вопросы я отвечу в своем докладе, расскажу, в каких вариантах мы используем Kafka, поведаю историю, как мы столкнулись с проблемами бэкапа данных из Kafka и как решали их на 400 сообщений в треде в мессенджере.

Чтобы вы не допускали ошибок в использовании Apache Kafka, мы сделали это за вас, и я расскажу об этих ошибках.

Занимается разработкой на .Net более 5 лет.
Руководит командой разработки в интернациональной компании. Делают высоконагруженный проект с обработкой большого объема потоковых данных. Ранее команда отвечала за перфоманс и отказоустойчивость системы.
Менторит людей, помогает онбордить ребят в других командах, повышает скилы своих сотрудников.
Гоняет на концерты, рейвы. Учится плавать и кататься на сноуборде.

Altenar

Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.

Видео

Другие доклады секции

Архитектура