Я расскажу о том, как проектировать надёжные пайплайны, состоящие из большого числа компонент на основе Apache Kafka. В докладе будут разобраны основные принципы проектирования, а также будут разобраны архитектурные паттерны очередей, обратной связи (back pressure), стыковка с HTTP, потери сообщений, и обработка задач с большим разбросом по времени выполнения.

Доклад будет полезен тем, кто собирается строить или уже строил и поддерживает пайплайны на Kafka. После доклада у слушателя должна возникнуть идея, как грамотно построить свой пайплайн, или хотя бы набор вопросов, которым стоит уделить внимание.

Нарисовать свой, если есть, Kafka-пайплайн и оценить его характеристики производительности.