Сахнов Денис на HighLoad++ 2024

Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад прекрасно иллюстрирует принцип «Less is more». Вместо изощренных способов поддерживать работу с огромной базой картинок Яндекса он предлагает способ, как сузить базу поиска до нескольких процентов и не потерять в качестве. Тот случай когда ML не расходует, а экономит ресурсы.

Целевая аудитория

Разработчики распределеннх систем, Архитекторы и ML-инженеры

Тезисы

Картинки - это часть поиска Яндекса, работающий с визуальным контентом и обрабатывающий более 10 000 тяжёлых запросов в секунду с помощью десятков тысяч CPU в рантайме. Мы расскажем, как столкнувшись с необходимостью масштабирования сервиса, с помощью ML в сочетании с архитектурными изменениями смогли не только увеличить пропускную способность в ~2 раза на том же железе, но и дать инструмент для более гибких продуктовых внедрений.

В докладе затронем:
* Архитектуру поиска картинок
* Какие сейчас существуют оптимизации, их преимущества и недостатки
* Что представляет из себя схема с тирами и при чем тут химический элемент с атомным номером 78
* Как шардирование в сочетании с ML помогает экономить железо
* Какой потенциал развития у схемы с различными тирами и балансировкой трафика

Сахнов Денис

Яндекс

Я работаю руководителем службы разработки Яндекс Картинок, занимаюсь архитектурой поиска картинок, построением поисковых баз и разными другими продуктовыми задачами, сочетающими в себе высоконагруженность и ML.

Яндекс

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Бузмаков Дмитрий

Яндекс

Я работаю в Яндекс Картинках backend разработчиком 3 года, до этого работал в Huawei и в уральской горнодобывающей компании. Закончил магистратуру МФТИ, участвовал в финале ICPC. Люблю узнавать новое про алгоритмы и структуры данных, сложные архитектурные решения распределенных систем и углубляться в познания C++

Яндекс