Мнение Программного комитета о докладе
Отличная тема по двум причинам: во-первых, раскрывает внутреннее устройство современных облаков, что у них под капотом; во-вторых, рассказ об имплементации шардинга, которую можно применить в своих проектах.
Внутри S3
Доклад принят в программу конференции
Целевая аудитория
Разработчики высоконагруженных приложений.
Тезисы
Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объемы данных, а также огромные объемы метаданных. Для хранения метаданных используется множество шардов postgres. Мы научились использовать умное шардирование, мы сами управляем распределением занятого места и нагрузкой между шардами.
Расскажу, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил ваш сервис.
Работает в Яндекс Облаке с 2019 года, развивает S3-хранилище для внутреннего яндекса, и для клиентов Яндекс Облака.
Yandex Infrastructure
Команда Yandex Infrastructure создает системы, сервисы и инструменты для разработчиков Яндекса. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру на всех этапах производства: у нас есть собственная система контроля версий для хранения исходного кода, системы распределённой сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, система ревью кода, распределённая система выполнения задач, системы развертывания и мониторинга приложений. Мы также разрабатываем продукты для поддержки процессов разработки, планирования ресурсов и много других систем и инструментов.
Видео
Другие доклады секции
Архитектуры и масштабируемость
