Полнотекстовый поиск в PostgreSQL за миллисекунды
Доклад принят в Программу конференции
Марина Степанова (Акционерное общество «Главный научный инновационный внедренческий центр» (АО «ГНИВЦ») современная IT-компания и ведущий технологический партнёр государственных структур и лидеров российского бизнеса в области комплексной автоматизации сложных бизнес-процессов.)
Максим Яковлев (Timeweb Cloud — российская облачная инфраструктура c дата-центрами в России, Европе и СНГ. Занимает 6 место в рейтинге крупнейших поставщиков IaaS Enterprise и входит в реестр отечественного ПО.)
Полнотекстовый поиск в СУБД PostgreSQL хорошо известен своими возможностями и расширяемостью. Однако можно выделить две основные причины, мешающие ему быть на одном уровне производительности со специализированными решениями:
- Будучи реализованы внутри СУБД, реализующей ACID, полнотекстовые индексы вынуждены поддерживать атомарность операций, конкурентные изменения, журналирование и т.д. Эта особенность неизбежна, если мы хотим получить интегрированное решение на базе реляционной СУБД, и является одновременно как преимуществом, так и недостатком.
- Полнотекстовые индексы используются только для фильтрации документов, ранжирование же требует извлечения самих документов из heap, что существенно снижает скорость обработки высокоселективных запросов. Этот недостаток не является неизбежным и может быть устранен путем включения дополнительной информации в GIN-индексы.
- При поиске GIN-индексы требуют полного сканирования соответствующих posting-lists и posting-trees и вызова для каждого элемента интерфейсной функции consistent. Этот недостаток может быть устранен путем введения оптимизатора поиска, что требует изменения интерфейса GIN.
В данном докладе будет представлен прототип патча к PostgreSQL, позволяющий:
- хранить позиционную информацию в полнотекстовом индексе. За счет этого ранжирование осуществляется исключительно по индексу без использования heap, что позволяет повысить скорость обработки высокоселективных запросов в десятки раз;
- оптимизировать использование GIN-индекса путем частичного сканирования posting-trees. Таким образом, решается проблема поисковых запросов вида "frequent_term & rare_term".
В докладе будет продемонстрирована работа прототипа на данных крупнейшей базы объявлений рунета avito.ru.
