Создали удобное рабочее окружение для 200+ дата-сайентистов при помощи jupyterhub и k8s, которое:
* легко масштабируется,
* в меру отказоустойчивое,
* имеет централизованное управление,
* легко тарифицируется в мультитенант-среде,
* имеет единую точку входа.

Расскажем:
* как запускать Spark driver в K8S в режиме --master yarn --deploy-mode client,
* как организовать персональные окружения для команд аналитиков/разработчиков,
* о контроле за использованием ресурсов и возможности их гарантировать,
* о том, как это все мониторится.

Поделимся, какие проблемы мы решили:
* проблемы сетевой связности при работе Spark Driver в K8S,
* доступность Spark UI,
* перенос пользовательских данных при переходе между командами.

Цель нашего — доклада показать, как при небольших изменениях можно получить результат, максимально удовлетворяющий вашим требованиям.