Как мы разместили 200+ дата-сайентистов в кластере k8s и перестали волноваться

DevOps и эксплуатация

Доклад принят в программу конференции

Тезисы

Создали удобное рабочее окружение для 200+ дата-сайентистов для работы co spark при помощи jupyterhub и k8s. А еще оно легко масштабируется, управляется и тарифицируется в мультитенант-среде.

Расскажем, как мы это сделали и какие проблемы решили.



Системный администратор, больше 15 лет занимается поддержкой операционных систем на базе linux, имеет опыт работы с решениями bigdata более 4 лет, занимался поддержкой таких сервисов, как rapida, cyberplat, сервисов teletrade. Внедрение кластера hadoop в qiwi и X5.

X5 group

X5 Tech - IT-компания в составе Х5 Group и основной цифровой партнер торговых сетей и бизнесов группы. Команда из более 3500 тысяч специалистов разрабатывает решения, которые помогают десяткам миллионов людей покупать любимые продукты свежими и по лучшей цене каждый день. Сегодня X5 Tech сфокусированы на разработке собственных решений и продуктов вне зависимости от вендоров.

Системный администратор с 12-летним опытом.
Занимался поддержкой высоконагруженных гиперконвергентных систем на базе linux на bare metal и cloud-инфраструктуре.
Последние 2 года занимается поддержкой и развитием multitenant k8s-кластеров и помогает выстраивать DevOps-процессы в продуктовых командах.

NLMK IT

Группа НЛМК - глобальная металлургическая компания, крупнейший в России и один из самых эффективных в мире производителей стали. Производственные активы расположены в России, Европе и США.

Видео