Сейчас в хранилище RUTUBE более 250 Пбайт и более 400 млн единиц видеоконтента. Его архитектура была заложена еще до появления таких решений, как Ceph и Amazon S3, используется до сих пор и имеет ряд преимуществ перед коробочными решениями.
В докладе расскажу, как мы с нуля создавали собственное файловое хранилище, глубоко оптимизированное под особенности видеохостинга. Рассмотрим требования и способы достижения:
простой горизонтальной масштабируемости;
отказоустойчивости и распределенного хранения данных в разных дата центрах;
полной кастомизации.
Покажу, каким образом нам в результату удалось добиться высокой производительности при минимальной стоимости хранения данных.