Сколько стоит разработать собственную сборку Hadoop: история и техника, как получилось в Сбере

Менеджмент крупных проектов

BigData / Нейронные сети

Миграции данных
Hadoop
Безопасность

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Hadoop на много машин нужен всем, но не все знают, как его правильно приготовить. Из доклада вы узнаете много тонкостей о Hadoop на опыте Сбера.

Целевая аудитория

Администраторы Hadoop. Разработчики Hadoop. Менеджеры DWH/DataLake'ов.

Тезисы

1. Сколько стоит входной билет в создание собственной сборки.
2. Какие потребовались перфоманс-доработки, когда у тебя несколько тысяч серверов под Hadoop.
3. Тележка сложностей, с которыми столкнулись по дороге к проду.

Product Owner SDP Hadoop.
Два ВО: физика полупроводников и менеджмент.
12 лет в IТ, до прихода в Сбер работал в Okko, Onetwotrip, DocDoc.

Сбер

Высокотехнологичная компания и крупнейший банк в России, Центральной и Восточной Европе. Сбер работает над созданием удобных онлайн-сервисов в самых разных сферах. Команда Сбера собирает лучшие технологии и управленческие методы из мировой практики, а масштабы компании и система поддержки сотрудников открывают возможности для карьеры в любом направлении и с любым уровнем амбиций.

Видео