Feature store: как мы совместили высокую производительность и безграничные потребности data scientist’ов

Архитектуры и масштабируемость

Умный поиск

Хранилища
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как с помощью простых инструментов собрать один из самых высоконагруженных Feature Store в России.

Целевая аудитория

Бэкенд-разработчики и инженеры инфраструктуры проектов, использующих ML-модели.

Тезисы

Поиск — одна из самых высоконагруженных и одновременно прибыльных систем в Озоне. Какие товары показать пользователю, чтобы он вероятнее что-то купил? Эту задачу решает команда ранжирования поиска, а мы создаем для них и их экспериментов инфраструктуру. ML-модели ранжирования становятся сложнее, товаров на маркетплейсе становится больше, а поиск должен работать так же быстро.

В данном докладе я расскажу:
* какой путь проходит товар, чтобы оказаться в выдаче поиска,
* зачем нам понадобилось создавать целую систему хранения ML-фич с нуля,
* какие хаки мы применили для уменьшения latency всего поиска,
* что мы сделали, чтобы справляться с миллионами запросов в секунду на терабайтные базы данных,
* как data scientist’ы получили возможность ставить A/B-эксперименты не только с разными моделями, но и с по-разному посчитанными фичами,
* как мы минимизировали временные затраты разработчиков на добавление новых видов фич.

Разработчик в команде среднего поиска Ozon.

Ozon

Ozon — ведущая платформа e-commerce в России. В команде Ozon Tech почти 4 000 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.

Видео

Другие доклады секции

Архитектуры и масштабируемость