Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

5 новых способов использовать данные в вашей Kafka

Архитектуры и масштабируемость

Проектирование архитектуры

Java
Архитектурные паттерны
Распределенные системы
Инфраструктура как сервис (IaaS), платформы как сервис (PaaS)
ETL
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Kafka — это архитектурный мультитул. В том числе поэтому его порой используют там, где не надо. Здесь — редкий пример случая, когда в совершенно разных сценариях применили Кафку (с описанием как именно) и всё по делу.

Целевая аудитория

* Архитекторы/CTO, * техлиды, * разработчики, использующие Kafka.

Тезисы

Хотите получить крутой дашборд, который меняется каждую секунду? А может, вам интересно в реальном времени определять, является ли операция мошенничеством? Или вы просто хотите быстро и надежно отобразить клиенту ленту его операций? Все это можно легко сделать, если ваши данные есть в Kafka.

В своем докладе я расскажу, как можно данные в Kafka поставить, как их можно между собой джоинить и как потом визуализировать.

На правах product owner'а стриминговой платформы в Райффайзен Банке я также покажу, как для всех этих целей мы используем нашу платформу, поделюсь реальными примерами кода и расскажу про грабли, на которые нам самим пришлось наступить.

Lead Developer в YDB Topics - мы делаем масштабируемый open source брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас мы активно развиваем Kafka API для YDB Topics и много исследуем, как Kafka ведет себя в том или ином сценарии. Я буду рад рассказать, какие подводные камни и особенности нам удалось раскопать.

YDB

YDB — это распределённая отказоустойчивая Distributed SQL база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.

Видео

Другие доклады секции

Архитектуры и масштабируемость

Алиса 6 лет спустя
Павел Капля

Алиса и Умные устройства Яндекса