Алексей Киселев на Saint HighLoad++ 2025

Потоковый коррелятор для обработки более 2 млн EPS

Безопасность

24 июня, 11:10, «Зал №6 Оранжевый шатер»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад описывает создание высокопроизводительного коррелятора событий для SIEM на базе FlinkCEP и собственного DSL, который обходит лимиты готовых решений и достигает 1M EPS уникальных событий при ~100 правилах на 720 vCPU.

Целевая аудитория

Cпециалисты ИБ. Аналитики SOC. Разработчики систем потоковой обработки данных.

Тезисы

Современный SOC (Security Operation Center) в BigTech-компании — это сотни систем, миллионы событий и десятки гигабайт событий в секунду. Не каждая SIEM-система способна выдержать такую нагрузку и легко масштабироваться под новые требования растущего бизнеса.

Расскажем, как нам удалось пересобрать систему, чтобы обрабатывать больше 2 млн событий в секунду и хранить суммарно больше 10 петабайт данных в сжатом виде, как мы пришли к идее создания потокового коррелятора на базе Apache Flink, как разработали DSL для написания правил на базе библиотеки Flink CEP и почему отказались от Flink SQL.

Алексей Киселев

Ведущий разработчик отдела разработки и внедрения решений ИБ. Ранее занимался задачами в области абстрактной интерпретации бинарного кода в ИСП РАН.

Андрей Борисов

Руководитель отдела разработки и внедрения решений ИБ в VK. Принимал участие в разработке AppSec-платформы в МТС.