- Главная
- →
- Базы данных и системы хранения
Hyper100re: спасибо Яндексу и ClickHouse за наше трудное детство Базы данных и системы хранения
Тезисы
Представление колоночной СУБД Hyper100re - потомка ClickHouse, но уже без ориентации на подсчет web-статистики.
Колоночные базы неплохо зарекомендовали себя при решении проблем оперативной аналитики. Особенно включая запросы вида "а давайте еще вот это посмотрим...", для которых сложно предусмотреть индексы или какой-либо тюнинг.
Вот и нам потребовался быстрый поиск по произвольным критериям и в достаточно большом объеме данных. Немаловажно, что требовалось обеспечивать стабильную и минимальную задержку при добавлении данных, которое происходило постоянно и нередко с катастрофической скоростью.
Дополнительная сложность была в том, что решение должно было работать "на автопилоте" не только в "шарообразном кластере", но и в "спичечной коробке" с одним диском и несколькими гигабайтами RAM.
Это действительно прекрасный challenge…
Подбирая решения, мы не могли пройти мимо Clickhouse. Доступность исходного кода, его базовая работоспособность и пермиссивная лицензия не позволили нам устоять.
В докладе будет краткий рассказ о пройденном пути, важных доработках и новых возможностях:
- технический долг хуже карточного...
- работающие зональные индексы и column imprints, поэтому частенько в 10-100 раз быстрее (в сравнении с ClickHouse);
- а еще designated empty, column's default и другие плюшки.
К сожалению, весьма вероятно, что доклад будет перенесен на весенний РИТ-2018 по причине неготовности «потребительской» части проекта для широкого публичного использования.
Проще говоря, нам нужно больше времени на подготовку документации и красивую упаковку, чем мы исходно предполагали.