Балансировка нагрузки в мульти-эксабайтном сторадже

Базы данных и системы хранения

Устройство систем хранения данных

Архитектурные паттерны
Отказоустойчивость
Распределенные системы
Хранилища

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад фокусирует внимание слушателя на конкретном аспекте архитектуры огромного объектного хранилища: балансировке. Будет полезен тем, кто строит свои хранилища и тем, кто хочет знать, как такие сервисы устроены.

Целевая аудитория

Разработчики, которых интересуют распределенные системы, отказоустойчивость и масштабирование. Разработчики распределенных систем хранения данных.

Тезисы

Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса (Диск, Почта, Карты, Поиск, Маркет и т.д.), — критическая часть компании с высочайшими требованиями к надежности и доступности. Он обрабатывает миллион запросов в секунду, хранит эксабайты данных и раздает терабит трафика в пике. Под капотом он содержит сотни тысяч hdd в тысячах серверах, размещенных в нескольких ДЦ, и десятки тысяч фоновых процессов, нагружающих железо.

Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо (от отдельных дисков до ДЦ целиком), разную "горячесть" данных разных сервисов (от cold до hot), сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа (от 1-гигабитных старых серверов до 50-гигабитных новых) и т.д.

В докладе расскажу, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.

Старший разработчик в Cторадже Яндекса.
В IT 9 лет, последние 3 года в Яндексе, до этого — в Лаборатории Касперского.
Область профессиональных интересов: высоконагруженные и распределенные системы.

Яндекс

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах. Основные бизнес-направления: поиск и электронная коммерция, сервисы объявлений, медиасервисы, онлайн-заказ такси и еды, беспилотные автомобили, продукты для рекламодателей и владельцев бизнеса. Яндекс также активно развивает проекты с открытым исходным кодом, например, CatBoost, YDB и userver.

Видео

Другие доклады секции

Базы данных и системы хранения