Опыт создания облачного сервиса для коллективов DSBigData и машинное обучение
В 2018 г мы создали пространство для нескольких инженеров машинного обучения (DS), которые работали над одной моделью. В совместной работе проявились многое факторы, снижающих скорость разработки и повышающих трудоемкость.
Продолжив доработку среды, мы сформировали видение необходимых функций среды: динамическое расширение ресурсов; выбор преднастроенных кернелов; удобный обмен тетрадками; версионность тетрадей; централизованное управление сессиями.
Начиная новый проект, сформировали требования по разделению прав доступа к папкам проектов и лимитирование ресурсов по проектам/задачам. Определили политику динамических ресурсов по финансовым критериям, бюджет проекта.
Прошедшей зимой мы развернули Kubernetes и перенесли в него докеры с приложениями Jupyter и нашей оболочкой.
Сейчас мы создали универсальную среду для нескольких заказчиков и можем расширять ее автоматически по мере необходимости пользователей в мощностях.