Конференция завершена. Ждем вас на HighLoad++ в следующий раз!
Park Inn Пулковская, пл. Победы, 1,
Санкт-Петербург, 8 и 9 апреля 2019

Опыт создания облачного сервиса для коллективов DSBigData и машинное обучение

Программный комитет ещё не принял решения по этому докладу
Глеб Панкратов
Техносерв

Архитектор, лид разработки Центра Компетенций Больших Данных.

Тезисы

В 2018 г мы создали пространство для нескольких инженеров машинного обучения (DS), которые работали над одной моделью. В совместной работе проявились многое факторы, снижающих скорость разработки и повышающих трудоемкость.

Продолжив доработку среды, мы сформировали видение необходимых функций среды: динамическое расширение ресурсов; выбор преднастроенных кернелов; удобный обмен тетрадками; версионность тетрадей; централизованное управление сессиями.

Начиная новый проект, сформировали требования по разделению прав доступа к папкам проектов и лимитирование ресурсов по проектам/задачам. Определили политику динамических ресурсов по финансовым критериям, бюджет проекта.

Прошедшей зимой мы развернули Kubernetes и перенесли в него докеры с приложениями Jupyter и нашей оболочкой.

Сейчас мы создали универсальную среду для нескольких заказчиков и можем расширять ее автоматически по мере необходимости пользователей в мощностях.

Python
,
Методы и техника разработки ПО
,
Machine Learning

Другие доклады секции BigData и машинное обучение

Rambler's Top100