Расскажу, как мы пришли к тому, что большую часть рутинной работы DS можно автоматизировать. Опишу, каким образом мы готовим все для этого: подготовка данных (Hadoop, PySpark, Airflow), инфраструктура для обучения моделей и их применения (K8s, Jenkins, MLflow). Подробно обсудим сервис ANNA (Auto Neural Network Analytics, основной стек: FastAPI, Vue, Postgres, RabbitMQ), который позволяет обучать модели и выводить их в промышленную среду без участия DS, и все, что требуется, — это выборка для обучения. Затронем вопросы применения всего этого в реальных условиях с ограниченным количеством ресурсов.