Идея разработки и внедрения AutoML не нова в DS/ML кругах. В общем случае под AutoML понимается набор технологий, позволяющих автоматизировать процессы разработки, тестирования и внедрения ML-моделей в промышленную среду. При этом уровень автоматизации может быть различным: начиная от разработки пайплайнов обучения модели (бенчмарков, позволящих оценить качество модели дата саентиста) и заканчивая полноценными ML-решениями, интегрированными в CI/CD контур, автоматизирующими все этапы жизненного цикла модели (разработка, тестирование, внедрение, мониторинг, триггерная система переобучения в случае деградации модели).

В докладе будет детально рассмотрено Auto-ML решение Альфа-Банка, автоматизирующее все основные этапы жизненного цикла моделей:
- Разработка ML-модели, включая бенчмаркинг решений AutoML и выбор наилучшего решения
- Тестирование и верификация, включая как статистические метрики качества ML-модели, так и бизнес-метрики процесса, в котором предполагается ее применение
- Внедрение ML-модели в систему исполнения моделей и ее интеграция с бизнес-системами
- Автоматический мониторинг модели на основе статистических и бизнес-метрик качества
- Триггерная система переобучения в случае деградации качества ML-модели
- Переобучение ML-модели и автоматическое внедрение новой версии в промышленные системы

Как правило, в крупных корпорациях реализация подобного end-to-end решения, автоматизирующего все этапы жизненного цикла моделей, сопряжено с большими сложностями в связи с необходимостью интеграций с различными бизнес-системами, амбициозными SLA к стабильности и качеству работы системы, а также многообразием процессов, в которых применяется ML.
Многие участники рынка останавливаются на автоматизации первого этапа - обучения модели, в рамках которого дата саентист получает инструменты Auto-ML для бенчмарк-анализа и выбора наилучшей модели. Полная автоматизация других этапов жизненного цикла требует системной проработки и глубокого уровня зрелости ML-Ops, бизнес- и ИТ-команд. В докладе будет приведено детальное описание системного дизайна решения Auto-ML, раскрывающее детали работы системы на каждом этапе (технологический стек, архитектура для сценариев Batch/Streaming/Online, возникшие сложности, результаты и эффекты). Данное решение позволяет существенно снизить уровень модельного риска, сэкономить ресурсы команд на поддержку ML-моделей в промышленной среде, увеличить качество ML-моделей и в результате получить дополнительный финансовый эффект от их применения в бизнес-процессах корпорации.