Фрагментация базы RocksDB в условиях высоконагруженного Ceph кластера: причины, последствия и пути решения

Удаление объектов в S3 кажется дешёвой операцией, но в Ceph оно бьёт по KV-метаданным RocksDB на OSD. При больших объёмах lifecycle-удалений LSM накапливает tombstone'ы, чтение index и omap дорожает, и пока compaction не разгребёт слои, latency S3 растёт – при формально здоровом кластере. В докладе я расскажу, как мы прошли путь от непонятных симптомов до рабочей модели: чем дебажить, когда прямой метрики «деградации LSM» не существует; почему важно не путать два разных слоя – фрагментацию свободного места в BlueStore и толстые слои LSM в RocksDB; и какой комплекс мер лечит проблему. Отдельно подсвечу про мониторинг и runbook, которые мы собрали уже после инцидента, чтобы видеть деградацию заранее.