Собственный S3-сервер: проблемы построения стабильного хранилища на нестабильном основании

Базы данных и системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Проблема построения хранилища метаинформации для S3-хранилища все еще актуальна. Рассказ от Озона о том, как они выбрали для этого ScyllaDB, с какими особенностями и проблемами столкнулись и как с этим справились.

Целевая аудитория

Рассказ рассчитан на бэкенд-разработчиков и инженеров эксплуатации, имеющих некоторый опыт работы с объектными хранилищами или wide-column-базами данных (ScyllaDB/Cassandra), но может быть интересен всем, кто интересуется проектированием и разработкой больших инфраструктурных систем.

Тезисы

В 2024 году Ozon полностью перенес свою инфраструктуру объектного хранилища на собственное решение S3-server Lusca. В докладе я расскажу, как мы выбирали хранилища индекса; думали, как реализовать strong consistency на eventual consistency базе; открывали для себя особенности фоновых процессов ScyllaDB и придумывали свои алгоритмы. А еще о том, как боролись с восстанием зомби на Хеллоуин и воскрешали терабайты данных.

Хочу поделиться опытом проектирования масштабных систем, пересборки большого космолета на лету, рассказать об интересных вещах, которые мы для себя открыли, об ошибках, которые мы могли бы и не допустить, и просто о забавных ситуациях.

Сейчас руководит отделом Object Storage в Ozon tech. Максиму нравится чувствовать себя в центре событий, создавать большие высоконагруженные решения, руководить командой крутых специалистов и наблюдать, как их решения обеспечивают работу огромного, важного для людей и при этом смело развивающегося и динамично меняющегося бизнеса.

Видео

Другие доклады секции

Базы данных и системы хранения