Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет
Основная секция

Доклад принят в Программу конференции

Тезисы




Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет / Дмитрий Исайкин

Тезисы

Рекомендательный движок — аналитическая система, пытающаяся предсказать, какие произведения и в какой степени будут интересны пользователю. Рекомендательные системы являются удобной альтернативой поисковым алгоритмам, позволяя обнаружить объекты, которые не могут быть найдены последними. Необходимость таких систем с ростом количества товаров и услуг неуклонно растет — встает проблема выбора наиболее подходящего объекта в огромном множестве похожих предложений.

Для построения качественных рекомендаций необходимо учитывать всю предысторию пользовательского потребления товаров и услуг, которая выражается в виде оценок на уже знакомые пользователю объекты. Чем больше в системе пользовательских оценок, тем более точно можно построить прогноз. Поэтому перед рекомендательными системами встает проблема хранения и обработки больших объемов данных.

В докладе рассказывается об организации хранения пользовательских оценок, используемой в рекомендательном движке Imhonet.

Предложенная реализация позволяет движку хранить десятки миллионов оценок в гигабайте оперативной памяти, обслуживать тысячи запросов данных в секунду, является практически безблокировочным контейнером, что позволяет почти линейно масштабировать нагрузку на хранилище данных за счет увеличения количества потоков исполнения, обрабатывающих данные.

О докладчике

Дмитрий Исайкин, ведущий архитектор рекомендательного движка Imhonet

Контакты: disaykin@imhonet.ru

Другие доклады секции
Основная секция

Rambler's Top100