Свой распределённый S3 на базе MinIO — практический опыт наступания на грабли

BigData и машинное обучение

Доклад принят в программу конференции

Тезисы

Любому проекту — нагруженному или нет — требуется где-то хранить свои данные. И, если это не тестовая среда, хранилище должно быть надёжным, отказоустойчивым и достаточно быстрым для решения задач, перед ним стоящих. При планировании такого проекта на ум любого архитектора (включая меня) сразу приходят S3-совместимые хранилища вроде Amazon AWS, Google Cloud Storage, Yandex Object Storage и т.п. Они удобны, распределены по нескольким географически удалённым друг от друга дата-центрам и не требуют никакого обслуживания. Однако при действительно больших объёмах данных даже приблизительно ожидаемые цифры, выдаваемые калькулятором стоимости, способны повергнуть в шок любого финансового директора. И тогда ключевой фразой для гугления становится "своё s3-совместимое хранилище". Пару лет назад настала моя очередь вбивать её в поисковик. Я пересмотрел несколько коммерческих и OpenSource-решений, пообщался с их разработчиками, несколько протестировал и одно внедрил.

В основной части доклада я хочу поделиться своим опытом внедрения, предостеречь от совершённых ошибок, возможно разрушить некоторые надежды. А в выводах резюмировать — стоит ли игра свеч, пошёл бы я снова по этому пути и сколько на самом деле стояn бесплатные решения. И главное — с конкретным цифровым выражением материальных, моральных и физических затрат.

Алексей Плетнёв

Базис-Центр+

Работает в компании с 2006 года. Прошёл путь от программиста до ведущего программиста, имеющего несколько джуниоров в подчинении, которые под его руководством обязательно его перерастут. Несколько лет параллельно преподавал в институте и колледже с целью выявления талантливых ребят. В основном специализируется на защите ПО от нелегального тиражирования (знает ассемблер), а также на распределённых защищённых системах. Отвечает за несколько проектов. Когда-то давно писал вирусы на заказ :)

Базис-Центр+

Компания, несмотря на свой небольшой штат в 45 человек, является лидером в области автоматизации бизнеса по производству и продаже мебели. ПО БАЗИС является промышленным стандартом для мебельных предприятий. Бизнес исключительно B2B и при этом число пользователей приближается к 10 000 компаний. В России и СНГ нет ни одного мебельного центра, где не было бы компаний, использующих наше ПО. Сейчас, даже несмотря на ситуацию с санкциями, набирают популярность далеко за пределами родины, например, в таких странах как Вьетнам или Португалия.

Видео

Другие доклады секции

BigData и машинное обучение