MLOps-архитектура рекомендательной платформы

BigData и инфраструктура машинного обучения (data engineering)

Python
Бэкенд / другое
Архитектурные паттерны
Критерии выбора технологий для проекта
Архитектуры / другое
Рекомендации / ML
ML
Микросервисы

Доклад принят в программу конференции

Целевая аудитория

ML- и MLOps-инженеры. Архитекторы.

Тезисы

Мы разрабатываем платформу для рекомендаций для всех компаний экосистемы Сбера, начиная от онлайн-кинотеатров до мира e-commerce. За прошедшие годы мы разработали универсальные подходы создания персонализированных рекомендаций.

В докладе поделюсь аспектами MLOps-архитектуры для запуска рекомендательных сценариев:
* как выглядит cloud-native-платформа для построения production-ready рекомендательных сценариев и почему это важно;
* какие MLOps-инструменты нужны для быстрого запуска достаточно сложных рекомендательных сценариев (от инструментов обработки больших данных до Feature Store и онлайн-моделей).

Архитектор рекомендательной платформы для экосистемы Сбера. Прошел более 10 лет тернистого пути в продуктовой разработке. Опыт охватывает как Highload-системы с 30+k RPS и кучей микросервисов, так и BigData/AI-проекты с сотнями терабайт данных. Последние 4 года сосредоточен на построении платформ запуска различных ML-решений в production. В основном пишет на Python/Golang и при первой же возможности обмазывает все контейнерами и облаками!

Видео