Подсчет уникальных комбинаций на примере системы статистики групп "Одноклассников"

Александр Шарак

В "Одноклассниках" более 1 млн. активных групп, в которых происходит более 700 млн. действий в день. Мы высчитываем разные уникальные комбинации для администраторов групп по разным периодам и с разной частотой. Например, такие: группа, пол, возраст, активность по периодам – за час, за текущие 24 часа, за последние 365 дней. В случае подсчета уникальных комбинаций за 365 дней нам приходится обрабатывать более 200 млрд. записей каждый день.

Эти подсчеты происходят на паре серверов MS SQL 2012 AlwaysOnAvailabilityGroup и одном MS Windows 2008 R2 сервере c .Net 4.0. В этом докладе речь пойдет о том, как мы построили эту систему и как решали проблемы, с которыми пришлось столкнуться.