Шардирование ClickHouse без мифов: как измерить его цену на реальной нагрузке и спроектировать дальнейшее масштабирование

Доклад продолжает историю внедрения шардгрупп в ClickHouse-кластере объёмом более 50 ТБ. После изменения архитектуры мы накопили достаточно эксплуатационных данных, чтобы проверить первоначальные предположения реальной нагрузкой. Покажу, как мы измеряли нагрузку на CPU, память, диски и сеть, учитывали запросы, фоновые слияния и репликацию. Разберём, почему равномерное распределение данных не гарантирует равномерной загрузки и какую цену приходится платить за дополнительные шарды и реплики. На основе измерений сформируем концепцию дальнейшего масштабирования: когда увеличивать ресурсы узлов, когда добавлять реплики или шарды и как размещать домены с разным профилем нагрузки. Слушатели получат методику оценки загрузки ClickHouse-кластера, критерии выбора способа масштабирования и список метрик, которые стоит собрать до изменения архитектуры.