Собственный S3-сервер: проблемы построения стабильного хранилища на нестабильном основании

Базы данных и системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Проблема построения хранилища метаинформации для s3-хранилища все еще актуальна. Рассказ от Озона о том, как они выбрали для этого ScyllaDB, с какими особенностями и проблемами столкнулись и как с этим справились.

Целевая аудитория

Рассказ рассчитан на бэкенд-разработчиков и инженеров эксплуатации, имеющих некоторый опыт работы с объектными хранилищами или wide-column базами данных (ScyllaDB/Cassandra), но может быть интересен всем, кто интересуется проектированием и разработкой больших инфраструктурных систем.

Тезисы

В 2024 году Ozon полностью перенес свою инфраструктуру объектного хранилища на собственное решение S3-server Lusca. В докладе я раскажу, как мы выбирали хранилища индекса; думали, как реализовать strong consistency на eventual consistency базе; открывали для себя особенности фоновых процессов ScyllaDB и придумывали свои алгоритмы; А еще о том, как боролись с восстанием зомби на Хеллоуин и воскрешали терабайты данных.

Хотим поделиться опытом проектирования масштабных систем, пересборки большого космолета налету, рассказать об интересных вещах, которые мы для себя открыли, об ошибках, которые мы могли бы и не допустить, и просто о забавных ситуациях.

Сейчас руковожу отделом Object Storage в Ozon tech. Мне нравится чувствовать себя в центре событий, создавать большие высоконагруженные решения, руководить командой крутых специалистов, и наблюдать, как наши решения обеспечивают работу огромного, важного для людей и при этом смело развивающегося и динамично меняющегося бизнеса.

Видео

Другие доклады секции

Базы данных и системы хранения