В докладе мы поделимся опытом разработки высоконагруженной системы визуализации активности клиентов компании (~65 млн. хитов в сутки) по всему миру с использованием продвинутых возможностей кластерных технологий Apache Spark Streaming, АПИ Яндекс.Карт и алгоритмов потоковой агрегации событий.
Уделим особое внимание разработке стратегии онлайн-агрегации географической информации, расскажем о пробах и ошибках, выбранных алгоритмах и их возможностях.
Подробно остановимся на тонкостях визуализации в реальном времени на Яндекс.Карте десятков тысяч геоточек, кластеризации, отрисовки линии разделения дня и ночи, оптимизации структур данных. В деталях рассмотрим задачу быстрого масштабирования и обеспечения детализации распределения клиентов и их активности.
English version