Деградировать нельзя падать: управляемая деградация в платёжном контуре

▎ Отказала база — лёг сервис. Отказал кэш — лёг сервис. Неудачный релиз одного потребителя — встала очередь, разгребают всей командой. Мы решили, что так быть не должно, но начали не с «сделаем всё отказоустойчивым», а с одного вопроса: что минимально необходимо, чтобы платёж прошёл онлайн. Дальше выписали каждый инфраструктурный узел на этом пути, построили карту деградации и научили деградировать каждый узел по отдельности. Теперь отказ базы гасит часть функциональности, а не сервис; с кэшем то же; неудачный релиз не останавливает разбор очереди. Расскажу, как мы это делали, где едва не выключили то, что выключать нельзя, и почему часть наших защит оказалась декорацией. И чем всё закончилось, когда контур научился деградировать.