Как VK вставляет данные в ClickHouse с десятков тысяч серверовDevOps и эксплуатация
Работает в отделе «платформы» в компании VK.com (ВКонтакте). Занимается развитием backend-инфраструктуры проекта: рефакторингом кода, деплоем, сбором логов и т.д.
До этого работал в нескольких местах, больше всего в Badoo (5 лет) и тоже в отделе «платформы».
Сделал несколько open-source проектов — lsd (замена scribe от фейсбука), soft mocks (реализация API, совместимого с runkit, на чистом PHP) и phpcf (форматтер кода для PHP).
В докладе будет рассказано об опыте внедрения ClickHouse в нашей компании — для чего он нам нужен, сколько мы храним данных, как их пишем и так далее.
Основные тезисы:
— Как VK использует ClickHouse (логи / статистика).
— Производительность ClickHouse в наших условиях, конфигурация кластеров.
— Буфер-таблицы.
— Проблемы в эксплуатации.
— kittenhouse: локальный прокси для ClickHouse.
— LightHouse: легкий веб-интерфейс для просмотра содержимого таблиц.
— GreenHouse: интерфейс на основе LightHouse, позволяющий просматривать сразу все кластеры, заведенные в kittenhouse.
