Мультитерабайтный Sphinx HA кластер

Вячеслав Крюков (Avito)

Компания Ivinco, которую я представляю, плотно сотрудничает со Sphinx team, и по нашему заказу они разработали несколько функционалов, в том числе Sphinx HA, о котором будет идти речь в презентации.

Краткие тезисы
1. Предыстория.

2. Архитектура.
- Обычный Sphinx кластер.
- Sphinx HA кластер, варианты реализации, их преимущества и недостатки.
- Масштабирование кластера, перебалансировка.

3. Обработка данных:
- заливка индексируемых данных в MySQL DB;
- индексация и синхронизация индексов;
- апдейт индексов;

4. Обеспечение производительности и отказоустойчивости:
- увеличение пропускной способности за счет HA;
- контроль производительности и критических параметров кластера;

5. Перспективные разработки:
- система дистрибуции индексов;
- контроль потребления ресурсов;
- RLP.