Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow? BigData и машинное обучение

Apache Airflow широко используется для оркестрации ETL data-пайплайнов. Давайте более детально взглянем на Airflow с точки зрения разработки и эксплуатации: какие особенности помогут избежать проблем, а какие могут потенциально привести к отказу работы распределенных систем.

Кроме того, обсудим: - Какие есть альтернативы и почему именно Airflow? - Как выглядит типичный Airflow pipeline и какую функциональность предоставляет? - С какими трудностями предстоит столкнуться при разработке? - Можно ли иметь гибкую оркестрацию as a code, с тестами, CI/CD и документацией? - Способы мониторинга и восстановления после отказов. - Как можно упростить процесс поддержки кода? - Интеграция с облачными сервисами и внешними системами: стоит ли пробовать?