Spark на Kubernetes: зачем это нужно, как работает и почему мы в VK Cloud решили делать это как сервис
Доклад отклонён
Целевая аудитория
Доклад будет полезен ML-инженерам, разработчикам и компаниям, планирующим интегрировать эти два замечательных продукта.
Тезисы
- Spark на Kubernetes - зачем нужна такая комбинация и какие преимущества у таких решений по сравнению со standalone опциями?
- Почему мы решили строить PaaS-сервис, особенности работы этого сервиса и его архитектура - опыт команды ML Platform.
- Как подойти к этой задаче с позиции платформенного решения, как интегрировать с другими инструментами - spark history, docker registry, обеспечить управление правами доступа к кластеру и доставить код от пользователя в Spark
Ведущий разработчик в команде ML Platform, VK Cloud
VK Cloud
VK Cloud — это платформа облачных сервисов для бизнеса и разработчиков. С 2018 года мы развиваем облачные сервисы по модели as-a-service. Клиенты пользуются сервисами в публичном облаке или заказывают частные инсталляции.
VK Cloud — собственная разработка компании. Наша цель — построить платформу, которая встанет в один ряд с мировыми гиперскейлерами.
Мы первыми в России запустили Kubernetes как сервис. Наши сервисы выдерживают высокие нагрузки — поэтому нам доверяют 5 000+ компаний. Среди них — АШАН, Х5 Group, Магнит, Открытие, «1C», amoCRM, Burger King и Philip Morris.
Видео
Другие доклады секции
BigData и машинное обучение
