С 2011 года игровая студия Pixonic разрабатывает свою аналитическую систему AppMetr. При ее создании использовались Apache Kafka, Apache Cassandra и свои велосипеды на Java.

Мы расскажем о текущей архитектуре и эволюции системы при взрывном росте нагрузки после релиза мобильного хита War Robots. А также о том, почему написали собственное решение и до сих пор не переехали на ClickHouse.

Поделимся, как собираем события с мобильных устройств и серверов, фильтруем дубликаты, обрабатываем их, сжимаем, храним десятки терабайт данных вечно и, главное — как выполняем аналитические запросы по большому объему данных за секунды, выжимая максимум из железа наших серверов.

Расскажем о проблемах, с которыми столкнулись на этом пути.

Раскроем низкоуровневые подробности форматов данных, оптимизации сжатия, ускорения кверинга и то, почему AppMetr используют не только аналитики, но и многие другие сотрудники компании.