Архитектура поиска Superjob на Manticore c ML-сервисом - улучшаем скорость и релевантность Архитектура
Руковожу бэкенд-разработкой в SuperJob, в которую на ряду с продуктовыми командами входят несколько платформенных групп, команда дата-инженеров и специалисты по машинному обучению.
Мой опыт в разработке уже более 18 лет, из них восемь лет работаю на руководящих позициях. Работал над разноплановыми проектами, как государственными, так и коммерческими. Например, я участвовал в автоматизации судов общей юрисдикции и развивал популярную зарубежную маркетинговую платформу.
Тезисы
В рамках доклада мы расскажем о переходе к новому поисковому движку, который разработан для решения проблем старой системы. Старая архитектура, существовавшая более 20 лет, не справлялась с современными требованиями: сложное внедрение машинного обучения, медленная скорость ответа и нерелевантные результаты поиска. Мы перешли с самописных и устаревших технологий типа форкнутого Sphinx 2 на Manticore, внедрили сервис дистрибьюции ML-моделей, это позволило нам удобнее и быстрее разрабатывать новые продуктовые фичи, а также быстро внедрять и тестировать ML-модели.
Мы обсудим ключевые технологии, которые были внедрены для достижения этих целей, включая репликацию в реальном времени, асинхронные сервисы и переход к микросервисной архитектуре. Также внимание будет уделено использованию высокопроизводительных ML библиотек, таких как CatBoost, и инструментов для управления ML-процессами в связке Clickhouse + Spark. Еще мы рассмотрим наши подходы к обеспечению масштабируемости и надежности системы, включая использование ZeroMQ и практики "грейсфулл шатдаун".
