Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад прекрасно иллюстрирует принцип «Less is more». Вместо изощренных способов поддерживать работу с огромной базой картинок Яндекса, он предлагает способ, как сузить базу поиска до нескольких процентов и не потерять в качестве. Тот случай, когда ML не расходует, а экономит ресурсы.

Целевая аудитория

Разработчики распределеннх систем, архитекторы и ML-инженеры.

Тезисы

Картинки — это часть поиска Яндекса, работающая с визуальным контентом и обрабатывающая более 10 000 тяжёлых запросов в секунду с помощью десятков тысяч CPU в рантайме. Мы расскажем, как, столкнувшись с необходимостью масштабирования сервиса, с помощью ML в сочетании с архитектурными изменениями смогли не только увеличить пропускную способность в ~2 раза на том же железе, но и дать инструмент для более гибких продуктовых внедрений.

В докладе затронем:
* архитектуру поиска картинок;
* какие сейчас существуют оптимизации, их преимущества и недостатки;
* что собой представляет схема с тирами, и при чем тут химический элемент с атомным номером 78;
* как шардирование в сочетании с ML помогает экономить железо;
* какой потенциал развития у схемы с различными тирами и балансировкой трафика.

Руководитель службы разработки Яндекс Картинок, занимается архитектурой поиска картинок, построением поисковых баз и разными другими продуктовыми задачами, сочетающими в себе высоконагруженность и ML.

Яндекс

Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Работает в Яндекс Картинках backend-разработчиком 3 года, до этого работал в Huawei и в Уральской горнодобывающей компании. Закончил магистратуру МФТИ, участвовал в финале ICPC. Любит узнавать новое про алгоритмы и структуры данных, сложные архитектурные решения распределенных систем и углубляться в познания C++

Яндекс

Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Архитектура