Мнение Программного комитета о докладе
Хороший пример борьбы с зашкалившей когнитивной сложностью, доставшейся по наследству, пересмотром архитектуры.
Как мы ускоряли поиск в модели EAV для 13500 атрибутов через ClickHouse.
Доклад принят в программу конференции
Целевая аудитория
Архитекторы, разработчики систем с гибкой структурой данных
Тезисы
Что делать, если нужна структура данных, которую необходимо менять прямо на проде? А если таких структур тысячи, атрибутов десятки тысяч, и множество из них — связи между объектами? Добавим сюда транзакционность, сложную валидацию, поиск по любым атрибутам среди десятков миллионов объектов.
Мы не понаслышке знакомы с этой ситуацией, ведь мы разрабатываем BPM систему для всех строительных и эксплуатационных процессов мобильной сети МТС. Мы прошли путь от классической EAV-модели к CQRS-архитектуре, сохранив EAV для мастер-данных и метаданных в Postgres, но вынеся чтение и поиск в ClickHouse по денормализованным JSON-объектам. В докладе разберем плюсы и минусы такого подхода, расскажем, как боролись с неконсистентностью, ограничениями JOIN в ClickHouse, масштабируемостью и задержками. Поделимся конкретными практиками и извлеченными уроками, которые помогут вам избежать дорогостоящих ошибок в своих проектах.
11 лет в ИТ, последние 5 из которых проектирую системы. Начинал как разработчик СОРМ для МТСа, затем уже как лид и архитектор на системе сбора и потокового анализа метрик оборудования на сети, и достигли сбора 100к+ метрик в секунду. Сейчас занимаюсь перестроением BPM системы, ведущей все процессы строительства и эксплуатации всей мобильной сети МТС. Увлекаюсь настольным теннисом и шахматами.
Видео
Другие доклады секции
Архитектура и масштабируемость
