Современные web-сервисы уже практически немыслимы без машинного обучения. Тем не менее эффективное использование в production ML-моделей может быть сопряжено с большим количеством задач на построение архитектуры приложения или оптимизации производительности, которые практически не встречаются в обычной разработке и для которых ещё не выработали стандартных решений.

Именно с такими задачами мы столкнулись в HeadHunter во время внедрения машинного обучения в сервис поиска, и на примере чего хочется обсудить возникшие проблемы и наши решения:
* для взаимодействия между обучением моделей на python и инференсом на java;
* для оптимизации архитектурных решений на java для сложных моделей;
* поведенческие признаки в production;
* а также java и mmap, сериализация и обмен данными между python и java.