История трансформации: как мы не справились с 20 000+ RPS и что из этого вынесли

Эксплуатация систем

Оптимизация производительности
Метрики
Типовые ошибки
Лайфхаки

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Когда нужно было сделать вчера, вендоры, отсутсвие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

Целевая аудитория

Разработчики, системные администраторы, технические менеджеры, архитекторы IT-систем и инженеры, отвечающие за высоконагруженные проекты и стабильность сервисов в условиях пиковых нагрузок (или те, кто только планирует HL).

Тезисы

Это будет история о том, как наш проект внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент, какие управленческие и технические решения мы принимали в условиях кризиса, чтобы минимизировать ущерб и восстановить работу системы.

Поделюсь нашим опытом разграничения нагрузки, оптимизации запросов в базе данных и API, а также тем, как мы избавлялись от старых «костылей». Вы узнаете, как нам удалось увеличить устойчивость системы до 10 000 RPS всего за двое суток, и какие у нас планы по достижению стабильной работы при нагрузке свыше 20 000 RPS.

Это будет не просто технический доклад, а познавательная история одного проекта со всеми его взлетами и падениями как для новичков, так и для опытных специалистов, которые сталкиваются с проблемами высокой нагрузки и дефицитом времени на оптимизацию. Приготовьтесь к увлекательному путешествию по реалиям быстрого реагирования на кризисные ситуации!

Более 13 лет в IT. Вырос от «веб-мастера» до руководителя направления. Специализируется на управлении кросс-функциональными командами, разработке, аналитике, DevOps и архитектуре. Запускал с нуля HL-проекты с 20к+ RPS. В свободное время преподает в ВШЭ, выступает на IT-конференциях, пишет статьи, менторит. Его страсть к путешествиям, мотоциклам и музыке дополняет техническую деятельность, помогая Льву сохранять творческий подход к решению сложных задач.

ПСБ

ПСБ – один из десяти крупнейших банков страны. Они понимают потребности частных клиентов, помогают предпринимателям из малого и среднего бизнеса, сопровождают гособоронзаказ и входят в тройку цифровых бизнесов России. В IТ-команде ПСБ более 5 000 профессионалов. Разрабатывают, внедряют финтех-продукты и приложения для клиентов и сопровождают IТ-системы банка. Среди проектов IТ-команды: • микросервисы для среднего и малого бизнеса; • программы по импортозамещению ПО; • сервисы оформления кредитов; • интернет-банк для корпоративных клиентов; • проекты для оборонно-промышленного комплекса. IТ-хабы банка находятся в Москве, Санкт-Петербурге, Самаре, Тольятти, Ижевске, Новосибирске, Ярославле и Севастополе. При этом сотрудники IТ могут работать удаленно по всей России.

Видео