В один прекрасный момент стало ясно, что наши алерты — это белый шум, который мешает, а не помогает находить проблемы в инфраструктуре. Тогда мы потратили пару месяцев и привели всё в порядок. Но через два года инфраструктура выросла в разы, а шума стало на порядок больше, появились инциденты из-за несвоевременной реакции на мониторинг. Опять повторять крестовый поход и полгода спать спокойно? Ну нет, нормально делай — нормально будет.

И это история о том, как мы перестроили процессы внутри команды, чтобы мониторинг перестал быть стихийным и стал актуальным и управляемым.