Как мы разместили 200+ дата-сайентистов в кластере K8S

DevOps и эксплуатация

ML Ops

#Аналитика / другое
#Hadoop

Доклад принят в программу конференции

Целевая аудитория

Администраторы bigdata, DevOps-инженеры, дата-сатанисты.

Тезисы

Создали удобное рабочее окружение для 200+ дата-сайентистов при помощи jupyterhub и k8s, которое:
* легко масштабируется,
* в меру отказоустойчивое,
* имеет централизованное управление,
* легко тарифицируется в мультитенант-среде,
* имеет единую точку входа.

Расскажем:
* как запускать Spark driver в K8S в режиме --master yarn --deploy-mode client,
* как организовать персональные окружения для команд аналитиков/разработчиков,
* о контроле за использованием ресурсов и возможности их гарантировать,
* о том, как это все мониторится.

Поделимся, какие проблемы мы решили:
* проблемы сетевой связности при работе Spark Driver в K8S,
* доступность Spark UI,
* перенос пользовательских данных при переходе между командами.

Цель нашего — доклада показать, как при небольших изменениях можно получить результат, максимально удовлетворяющий вашим требованиям.


Системный администратор, больше 15 лет занимается поддержкой операционных систем на базе linux, имеет опыт работы с решениями bigdata более 4 лет, занимался поддержкой таких сервисов, как rapida, cyberplat, сервисов teletrade. Внедрение кластера hadoop в qiwi и X5.

X5 Tech

X5 Tech — IT-компания в составе Х5 Group и основной цифровой партнер торговых сетей и бизнесов группы. Команда из более 3500 тысяч специалистов разрабатывает решения, которые помогают десяткам миллионов людей покупать любимые продукты свежими и по лучшей цене каждый день. Сегодня X5 Tech сфокусированы на разработке собственных решений и продуктов вне зависимости от вендоров.

Системный администратор с 12-летним опытом.
Занимался поддержкой высоконагруженных гиперконвергентных систем на базе linux на bare metal и cloud-инфраструктуре.
Последние 2 года занимается поддержкой и развитием multitenant k8s-кластеров и помогает выстраивать DevOps-процессы в продуктовых командах.

НЛМК

Группа НЛМК — глобальная металлургическая компания с производственными площадками в России и за рубежом.

Видео