Нормализация событий в SIEM: почему мы отказались от Vector в пользу собственного решения
Другие доклады
Спикеры
20 лет работает в IT. Раньше занимался компиляторными технологиями: создавал средства анализа исходного и бинарного кода, а теперь разрабатывает высоконагруженные системы для SOC в VK. Пишет и исполняет музыку, занимается в тренажёрном зале.
Отзыв программного комитета
На потоке 5 млн событий в секунду Vector достиг предела производительности. Михаил Соловьёв расскажет, как в VK перестроили конвейер нормализации SIEM на ECMAScript и V8, почему попытка встроить V8 в Vector провалилась и какие изменения дали прирост производительности на 30%.
Кому полезно
Разработчики высоконагруженных систем. Архитекторы и инженеры SOC.
О чём доклад
Расскажем, как в пайплайнах нормализации событий мы достигли предела производительности Vector, в чём были узкие места и как мы с их учётом разработали и внедрили собственное решение, на 30% более производительное в нашем сеттинге.
Обсудим основные идеи, которые позволили нарастить производительность: замену интерпретации VRL-кода на JIT-компиляцию с использованием движка V8, ленивое декодирование и раннее кодирование событий, оптимизации над графом обработки.
Опишем control plane, который мы построили над новыми кластерами нормализации: failover, мониторинг, управление версиями пайплайнов и A/B-тестирование.