В рекомендациях Wildberries большое количество DS-ов (200+ сотрудников), много команд и широкий спектр задач: LLM, NLP, Computer Vision и другие. Поэтому необходимо унифицированное решение, чтобы дата саентисты могли в автоматизированном режиме работать с какой-либо платформой: ставить модели на обучение, на инференс и так далее. За основу для MLOps-платформы был взят Airflow в связке с Kubernetes.
В докладе будут рассказано с какими "боттлнеками" приходится сталкиваться при разработке масштабируемой платформы, а также подробно будут рассмотрены решения двух важных задач:
— Масштабируемый способ хранения в сложной топологии секретов Vault и подключение их в Kubernetes поды задач Airflow.
— Защищенный способ реализации запуска задач в нескольких кластерах Kubernetes