ClickHouse без боли. Наш опыт рефакторинга легаси-кластера и эффект внедрения шардгрупп

BigData и инфраструктура машинного обучения (data engineering)

Базы данных / другое
Внедрение и поддержка
Проектные артефакты, инструментарий
ClickHouse
Хранилища
Обработка данных
Расширение кругозора

Доклад принят в программу конференции

Мнение Программного комитета о докладе

А вы знаете, как работать с большим кликом (50+ Тб)? Михаил точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере — пожалуй, главный take away этого доклада!

Целевая аудитория

Дата-инженеры, тимлиды, ДевОпс, аналитики.

Тезисы

В рамках доклада расскажу:
1. вредные советы по работе с ClickHouse — поделюсь полученными на собственном опыте знаниями, распространенными ошибками при создании и разработке на CH-кластере. Расскажу, к каким последствиям приводят ошибки и как их избежать;
2. про внедрение шардгрупп. Расскажу, как поменяли политику работы с кластером и перевели первые 2 домена за неделю;
3. про результаты первого квартала — раскрою, как мы вышли на стабильность кластера в 99,9% и разделили большой кластер между аналитическими командами.

Доклад будет полезен как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры. Он поможет избежать ошибок и сразу получить лучший результат.

Руководит командой DWH компании Magnit OMNI (30+ человек). Ранее работал в компании ЦИАН.

Видео