Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Как VK вставляет данные в ClickHouse с десятков тысяч серверовDevOps и эксплуатация

Доклад принят в программу конференции
Юрий Насретдинов
ВКонтакте

Работает в отделе «платформы» в компании VK.com (ВКонтакте). Занимается развитием backend-инфраструктуры проекта: рефакторингом кода, деплоем, сбором логов и т.д.
До этого работал в нескольких местах, больше всего в Badoo (5 лет) и тоже в отделе «платформы».

Сделал несколько open-source проектов — lsd (замена scribe от фейсбука), soft mocks (реализация API, совместимого с runkit, на чистом PHP) и phpcf (форматтер кода для PHP).

y.nasretdinov@corp.vk.com
Тезисы

В докладе будет рассказано об опыте внедрения ClickHouse в нашей компании — для чего он нам нужен, сколько мы храним данных, как их пишем и так далее.

Основные тезисы:
— Как VK использует ClickHouse (логи / статистика).
— Производительность ClickHouse в наших условиях, конфигурация кластеров.
— Буфер-таблицы.
— Проблемы в эксплуатации.
— kittenhouse: локальный прокси для ClickHouse.
— LightHouse: легкий веб-интерфейс для просмотра содержимого таблиц.

C/C++
,
PHP
,
Логирование и мониторинг
,
ETL
,
GO
Подготовительное задание

Ознакомиться с ClickHouse на уровне знания, что это такое.
Предлагаю, к примеру, почитать статью на Хабре про открытие исходников: https://habr.com/company/yandex/blog/303282/

Другие доклады секции DevOps и эксплуатация

Rambler's Top100