От одного контейнера до 4000 RPS: как мы масштабировали GitLab в трех дата-центрах

Архитектура и масштабируемость

Отказоустойчивость
Распределенные системы
Архитектуры / другое
Логирование и мониторинг
Devops / другое
Микросервисы
Инфраструктура
Сеть

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Одновременно стандартная и сложнейшая задача. Как разделить GitLab на много локаций, с чем придется столкнуться и как эти проблемы решить.

Целевая аудитория

Те люди, которым нужно разворачивать, поддерживать масштабную или быстро растущую инсталляцию Gitlab CE/EE.DevOps-инженеры, архитекторы высоконагруженных систем, системные администраторы, специалисты по инфраструктуре.

Тезисы

Доклад посвящён реальному опыту масштабирования GitLab от маленького контейнера до крупного распределенного решения в трех дата-центрах с нагрузкой 4000 запросов в секунду. Мы подробно рассмотрим ограничения, с которыми столкнулись при росте нагрузки и пользователей, и конкретные шаги по решению этих проблем:
* Причины перехода на различные редакции GitLab (от CE до собственной редакции): какие преимущества получили и когда стоит переходить на новую редакцию.
* Оптимизация хранения и бэкапов, включая миграцию на S3 и смену подхода к резервному копированию.
* Отделение очередей и GitLab в отдельные сервисы для повышения стабильности.
* Почему и как мы мигрировали на Kubernetes-кластер.
* Масштабирование GitLab VCS и внедрение балансировки для отказоустойчивости.
* Переход на базы данных In-memory (redis/valkey) и разделение нагрузки на несколько кластеров.
После доклада слушатели смогут лучше понять, как последовательно и эффективно масштабировать GitLab и аналогичные сервисы, избегать распространенных ошибок и заранее подготовиться к техническим ограничениям инфраструктуры.

Максим Степанов

МТС Web Services (MWS)

В IT более 17 лет. Прошел путь от системного администратора сайтов и DevOps в big data, а далее — от разработчика до архитектора трайба и более десятка продуктов, как внешних, так и разрабатываемых внутри.

Видео

Другие доклады секции

Архитектура и масштабируемость