ClickHouse без боли. Наш опыт рефакторинга легаси кластера и эффект внедрения шардгрупп

BigData и инфраструктура машинного обучения (data engineering)

Базы данных / другое
Внедрение и поддержка
Проектные артефакты, инструментарий
ClickHouse
Хранилища
Обработка данных
Расширение кругозора

Доклад принят в программу конференции

Мнение Программного комитета о докладе

А вы знаете как работать с большим кликом (50+ Тб)? Михаил - точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере - пожалуй главный take away этого доклада!

Целевая аудитория

Дата инженеры, Тимлиды, Девопс, Аналитики

Тезисы

В рамках доклада расскажу:

1. Вредные советы по работе с ClickHouse — поделюсь полученными на собственном опыте знаниями, распространёнными ошибками при создании и разработки на CH-кластере. Расскажу, к каким последствиям приводят ошибки и как их избежать.

2. Внедрение шардгрупп. Расскажу, как поменяли политику работы с кластером и перевели первые 2 домена за неделю.

3. Результаты первого квартала – раскрою, как мы вышли на стабильность кластера в 99,9% и разделили большой кластер между аналитическими командами.

Доклад будет полезен как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры. Он поможет избежать ошибок и сразу получить лучший результат.

Руковожу командой DWH компании Magnit OMNI (30+ человек). Ранее работал в компании ЦИАН.

Видео