Авито Автозагрузка: как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
* что делать с медленными и нестабильными хостами;
* как не устроить DDoS-атаку на сервера клиентов;
* как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
Руководитель разработки юнита Publish Items. Отвечаю за все, что связано с размещением объявлений на Авито - от простой подачи через мобильное приложение или Desktop до таких мощных инструментов автоматизации как Авито.Автозагрузка.
Авито
Видео
Другие доклады секции
Архитектуры и масштабируемость
