Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Потоковая обработка BigData для МТС

BigData и машинное обучение

BigData / ML

Фреймворки
Java
Scala
Big Data и Highload в Enterprise
Hadoop
Knowledge Ops

Доклад принят в программу конференции

Целевая аудитория

Разработчики и архитекторы потоковой обработки данных, BigData. Новички в потоковой обработке смогут почерпнуть для себя необходимый опыт создания подобного инструмента, а опытные коллеги посмотрят на задачи под "другим углом".

Тезисы

В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.

Евгений Ненахов

МТС Web Services (MWS)

CTO CDP BigData МТС Web Services (MWS). Занимается задачами BigData. Много времени уделяет потоковой обработке данных. Кандидат физ.-мат. наук и доцент кафедры «Вычислительная математика и программирование» в ВУЗе. Один из авторов курса для Data Engineer в Яндекс Практикум.

МТС Web Services (MWS)

МТС Web Services (MWS) — новая бигтех-компания экосистемы МТС. MWS предоставляет рынку широкий спектр ИТ-услуг: облачные сервисы, AI-решения и платформы под разные задачи бизнеса, начиная с бесшовной интеграции и заканчивая работой с данными. Команда MWS насчитывает более 10 тысяч ИТ-специалистов, которые в максимальной кооперации друг с другом обеспечивают высокое качество и надежность продуктов и сервисов.

Видео

Другие доклады секции

BigData и машинное обучение