В этом докладе будет представлен новый подход к распознаванию достопримечательностей на изображениях, который мы успешно внедрили в Mail.Ru. Главная трудность этой задачи заключается в том, что очень сложно дать точное определение того, что является достопримечательностью, а что нет. Некоторые здания, памятники и природные объекты являются ими, а другие - нет. Ключевой особенностью использования распознавания достопримечательностей в продакшне является то, что количество фотографий, содержащих их, чрезвычайно мало. Поэтому модель должна иметь очень низкий уровень ложных срабатываний, при высокой точности распознавания.

Описываемый подход основан на глубоких свёрточных нейронных сетях и требует одного прохода изображения через сеть, что делает его достаточно быстрым для использования в продакшне и обработки большого количества пользовательских фотографий. В докладе будет подробно рассказано об основных компонентах метода, таких как архитектура нейронной сети, стратегия обучения сети и особенности принятия решения о наличии достопримечательности на изображении. Описанная система развернута как часть решения по распознаванию фотографий в Cloud Mail.Ru, которое является сервисом обмена и хранения фотографий в Mail.Ru Group.