Как мы разместили 200+ дата-сайентистов в кластере K8S
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Создали удобное рабочее окружение для 200+ дата-сайентистов при помощи jupyterhub и k8s, которое: * легко масштабируется, * в меру отказоустойчивое, * имеет централизованное управление, * легко тарифицируется в мультитенант-среде, * имеет единую точку входа.
Расскажем: * как запускать Spark driver в K8S в режиме --master yarn --deploy-mode client, * как организовать персональные окружения для команд аналитиков/разработчиков, * о контроле за использованием ресурсов и возможности их гарантировать, * о том, как это все мониторится.
Поделимся, какие проблемы мы решили: * проблемы сетевой связности при работе Spark Driver в K8S, * доступность Spark UI, * перенос пользовательских данных при переходе между командами.
Цель нашего — доклада показать, как при небольших изменениях можно получить результат, максимально удовлетворяющий вашим требованиям.
Системный администратор, больше 15 лет занимается поддержкой операционных систем на базе Linux, имеет опыт работы с решениями bigdata более 4 лет, занимался поддержкой таких сервисов, как rapida, cyberplat, сервисов teletrade. Внедрение кластера hadoop в qiwi и X5.
X5 Tech
Системный администратор с 12-летним опытом.
Занимался поддержкой высоконагруженных гиперконвергентных систем на базе linux на bare metal и cloud-инфраструктуре.
Последние 2 года занимается поддержкой и развитием multitenant k8s-кластеров и помогает выстраивать DevOps-процессы в продуктовых командах.
НЛМК
Видео
Другие доклады секции
DevOps и эксплуатация
