Когда защите нужна защита: как мы ломали и восстанавливали Антиробот Яндекса
Подробнее о докладе
Другие доклады
Спикеры
С 2018 года работает в Яндексе над проектами антифрода. Backend-разработчик. Работал в поисковом антиспаме, сейчас занимается всем, что связано с антироботом и капчей, в том числе разработкой продуктов в Yandex Cloud. Участник различных контестов по AI и ML.
Отзыв программного комитета
Антиробот стоит на критическом пути каждого запроса в сервисы Яндекса: любая ошибка в правиле или релизе мгновенно бьёт по миллионам пользователей. Ребята покажут, как пережили каскадный крэш кластера, починили холодный старт под шквалом трафика и научились ловить баги на зеркалированном потоке.
Кому полезно
Backend-разработчики, SRE, performance-инженеры, архитекторы и техлиды, которые проектируют и эксплуатируют высоконагруженные сервисы на критическом пути запроса. Доклад также будет полезен инженерам антифрод- и anti-DDoS-систем.
О чём доклад
Одно ошибочное правило Антиробота заблокировало весь трафик, а другое вывело из строя целую инсталляцию. Несовместимый бинарный релиз вызвал каскадное падение кластера, после чего первый оживший хост рисковал получить всю нагрузку и упасть снова. На критическом пути запроса ошибка защиты сразу бьёт по доступности сервисов.
На обезличенных инцидентах разберём изоляцию релизных контуров, проверку совместимости данных между версиями и плавный возврат нагрузки после холодного старта. Покажу, почему во время атаки внутренняя очередь запросов захлебнулась раньше полной загрузки процессоров. Расскажу, как ищем деградации профилированием, разбираем падения по крэш-дампам и проверяем сервис санитайзерами и зеркалированным трафиком.
Что заберёте с собой: практические принципы защиты высоконагруженных систем: ограничение очередей, безопасное восстановление после аварии и поэтапную выкладку правил и капчи, где однажды пропали иконки.