Расскажу о нашем опыте внедрения ML Feature Store в нашей компании. Мы проделали большой путь от использования стандартных backend хранилищ до создания собственного Feature Store, оптимизированного для нужд Data Science и Machine Learning проектов.

Мы изучили существующие фреймворки (Feast, Tecton, Featureform) и поделимся, почему из коробки не удастся получить готовый ML Feature Store.

Методом проб и ошибок мы нашли простое решение, и на его внедрение у нас ушло 3 месяца одного разработчика. Хотим донести почему мы делали конкретные решения на каждом шаге внедрения.

Наш ML Feature Store ускорил время вывода фичей для ML алгоритмов с трёх месяцев до одного дня.

Мы использовали Trino / S3, Yandex DB, spark, python, но покажем общее архитектурное решение и вы сможете адаптировать его под свой стек. Сейчас наше решение держит нагрузку ~1.5К rps на чтение, хранит > 200GB данных из них ежедневно обновляется около 15GB, время ответа < 80ms . Путём горизонтального масштабирования планируем нарастить эти цифры до 30К rps, 1TB данных с сохранением SLA.