Конференция завершена. Ждем вас на HighLoad++ Foundation в следующий раз!

Потоковая обработка BigData для МТС

BigData / ML

Доклад принят в программу конференции

Тезисы

В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.

Руководитель направления разработки инструментов потоковой обработки данных в центре BigData MTS Digital. Занимается разработкой на Scala, Java преимущественно в проектах BigData. Участвовал в разработке DataLake для нескольких крупных компаний. Преподаватель фундаментальной информатики и информационных технологий в вузе.

Видео