Как выжить под нагрузкой, имея 100 Тб в нешардированной MongoDB

Базы данных и системы хранения

СУБД: графовые, объектные и другие

#Архитектурные паттерны
#Отказоустойчивость
#Оптимизация производительности
#Распределенные системы
#Масштабирование с нуля

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Что делать, если у вас монга с одной коллекцией на 100 терабайт? И ее нельзя выключать? И саппорт говорит, что они такое видят в первый раз? Импровизировать! В докладе — подробности.

Целевая аудитория

Архитекторы и разработчики backend высоконагруженных систем.

Тезисы

Очень часто, особенно на начальном этапе развития системы/проекта, в погоне за функциональными возможностями у нас банально не хватает времени подумать о том, что будет в долгосрочной перспективе с жизнеспособностью созданного решения под нагрузкой. К тому моменту (когда возникают проблемы) накопленные объемы данных могут исчисляться десятками и даже сотнями терабайт.

Взяв за основу реальный проект очень большой track&trace-системы, я покажу, что именно происходит с системой класса big data, в которой по разным причинам откладывали переход на использование шардированной архитектуры хранилища под нагрузкой. И самое главное, как выжить в этих условиях, меняя архитектуру решения на лету без downtime (DT).

CTO компании STM Labs.

STM Labs

STM Labs — российский разработчик программного обеспечения. Умеют всё: от проектирования и создания высоконагруженных систем до приложений и интеграции. Более 10 лет компания STM Labs реализует проекты и создает IT-решения различной сложности для бизнеса, в том числе применяя собственную платформу flexiflow.

Видео