Тезисы

Тезисы

Опыт создания и использования собственной системы кэширования SERP

Некоторые запросы к поисковым машинам достаточно популярны и имеют свойство повторяться, вычислять их каждый раз заново было бы неразумной тратой времени.

Сложные условия попадания результата запроса в кэш, равно как и их оперативное удаление, а также большое количество кэшируемых данных лишают возможности использовать стандартные решения.

В реализации собственных решений, кроме прочего, важную роль играет скорость, масштабируемость и отказоустойчивость будущей системы.

• Общая структура поисковой машины МЕТА
• Схема обработки отдельно взятого поискового запроса, необходимость кэширования
• Первый опыт: небольшой кэш в памяти
• Необходимость расширения системы, возможные варианты
• Гарантированный результат за фиксированное время (время отклика)
• Второй опыт: всё в BTree
• Следующий опыт: смешанный кэш
• Скорость, масштабируемость, надёжность
• Возможные пути дальнейшего развития системы кэширования

О докладчике

Владимир Фльонц, разработчик ядра поисковой машины МЕТА.