ClickHouse без боли. Наш опыт рефакторинга легаси кластера и эффект внедрения шардгрупп

BigData и инфраструктура машинного обучения (data engineering)

Базы данных / другое
Внедрение и поддержка
Проектные артефакты, инструментарий
ClickHouse
Хранилища
Обработка данных
Расширение кругозора

Доклад принят в программу конференции

Целевая аудитория

Дата инженеры, Тимлиды, Девопс, Аналитики

Тезисы

В рамках доклада расскажу:

1. Вредные советы по работе с ClickHouse — поделюсь полученными на собственном опыте знаниями, распространёнными ошибками при создании и разработки на CH-кластере. Расскажу, к каким последствиям приводят ошибки и как их избежать.

2. Внедрение шардгрупп. Расскажу, как поменяли политику работы с кластером и перевели первые 2 домена за неделю.

3. Результаты первого квартала – раскрою, как мы вышли на стабильность кластера в 99,9% и разделили большой кластер между аналитическими командами.

Доклад будет полезен как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры. Он поможет избежать ошибок и сразу получить лучший результат.

Руковожу командой DWH компании Magnit OMNI (30+ человек). Ранее работал в компании ЦИАН.

Magnit OMNI

Магнит OMNI — это более 400 инженеров, объединенные в 40+ продуктовых и платформенных команд. Основные направления продуктовой разработки – программа лояльности «Магнит Плюс» с десятками миллионов пользователей, «Фудтех» — доставка из магазинов Магнит, маркетплейс «Магнит Маркет» и приложение «Магнит: акции и доставка».

Видео