Профессиональная конференция разработчиков высоконагруженных систем

Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru

Базы данных и системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Глубоко технический доклад про реализацию собственного хранилища в условиях больших нагрузок и критических систем вокруг. Если вам нравится разбираться во внутрянке таких систем и специфике хранения данных — этот доклад для вас.

Целевая аудитория

Все, кто интересуется распределенными системами или системами хранения данных. А также архитекторы, которые занимаются проектированием IaaS в публичных облаках.

Тезисы

В 2021 году мы начали разработку собственного Software-Defined Storage (SDS) для публичного облака с нуля. За два года мы сделали решение, которое успешно вывели в production платформы Evolution Cloud.ru и которое хранит петабайты пользовательских данных. Наш SDS предоставляет собой блочное, объектное и файловое хранилище. В этом докладе мы поговорим про архитектуру самого нижнего блочного слоя и с какими сложностями мы столкнулись при его разработке.

В докладе я расскажу:
* из каких компонентов состоит публичное облако и зачем там SDS;
* как архитектурно устроен наш блочный SDS;
* как сетевые диски подключаются к виртуальным машинам пользователя;
* с какими проблемами мы столкнулись при использовании Erasure Coding для кодирования данных и как мы решили эти проблемы.

Технический лидер. Руководит командой разработки Software-Defined Storage в компании Cloud.ru. Много лет занимается разработкой распределенных систем хранения данных.

Cloud.ru

Cloud.ru — провайдер облачных и AI-технологий, который решает задачи клиентов любого масштаба и предлагает 80+ IaaS-, PaaS-сервисов и ML-платформу на базе уникальных суперкомпьютеров. В команде 1 400 профессионалов, которые создают инновации и делают доступ к технологиям простым и удобным.

Видео