Нормализация событий в SIEM: почему мы отказались от Vector в пользу собственного решения
Спикеры
20 лет работает в IT. Раньше занимался компиляторными технологиями: создавал средства анализа исходного и бинарного кода, а теперь разрабатывает высоконагруженные системы для SOC в VK. Пишет и исполняет музыку, занимается в тренажёрном зале.
Кому полезно
О чём доклад
Расскажем, как в пайплайнах нормализации событий мы достигли предела производительности Vector, в чём были узкие места, и как мы с их учётом разработали и внедрили собственное решение, на 30% более производительное в нашем сеттинге.
Обсудим основные идеи, которые позволили нарастить производительность: замену интерпретации VRL-кода на JIT-компиляцию с использованием движка V8, ленивое декодирование и раннее кодирование событий, оптимизации над графом обработки.
Опишем control plane, который мы построили над новыми кластерами нормализации: failover, мониторинг, управление версиями пайплайнов и A/B-тестирование.
