Приключение на 20 минут: проблемы и патчи, возникшие при обновлении стриминга ОК
Доклад принят в программу конференции
Целевая аудитория
разработчики, data-инженеры и все неравнодушные к потоковой обработке данных и историям о положенном проде и даталоссе
Тезисы
Стриминг активно используется платформой ОК уже более 10 лет, и за это время используемый нами фреймворк успел значительно вырасти и измениться.
В этом докладе я расскажу о том, как устроен стриминг в ОК, а также о всех патчах и фейлах, возникших в процессе обновления стримингового фреймворка 10-летней давности: об отсутствии обратной совместимости, проблемах с партиционированием, сложностях во взаимодействии с Apache Kafka, Apache Hadoop YARN и о том, как с этим боролись.
Разработчик в команде разработки Dataplatform облачной платформы OneCloud. Занимается развитием и поддержкой инфраструктуры big data и машинного обучения.
Видео
Другие доклады секции
BigData и инфраструктура машинного обучения (data engineering)
