Расчёт метрик на графах миллиардного масштаба

Высокопроизводительные вычисления

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Data Engineers: Может быть интересна архитектура конвейеров (pipelines), оптимизация хранения графов в памяти. Graph Data Scientists / ML Engineers: Может быть интерсны сами метрики, как признаки (features) для обучения моделей, борьбы с мошенничеством (Anti-Fraud) или системы оценки рисков. Разработчики Highload-систем: Инженеры, отвечающие за похожий функцилнад, когда использовать вычислительные фреймворки, а когда писать кастомное решение на C++ под жестким SLA.

Тезисы

Расскажем о различных способах реализации и хранении данных при расчете метрик на графе с 1+МЛРД вершин и 30+МЛРД ребер. Как из идеи получилось продуктовое решение, реально внедренное в компании.

Березин Андрей Валерьевич

Т-Банк

Более 17 лет опыта коммерческой разработки в «Т-Банке», «Яндексе», «Лаборатории Касперского».
Эксперт в C++, прикладной криптографии и безопасности ПО.
Ведущий разработчик направления графовой платформы «Т-Банка».
Архитектор «движка» для расчёта метрик на графах миллиардного масштаба.
Автори и лид курса «Прикладная криптография» в Центральном Университете.