分布式存储系统以其软件定义模式以及高并发性能、弹性扩展能力和易维护性等特性受到越来越多客户认可。目前市场主流产品按实现方式可分为两大类:一、以开源软件为基础封装的商用 Ceph-based 存储系统,二、厂商完全自主开发、针对块存储等场景设计的分布式存储系统(如 SmartX 分布式块存储系统)。用户在进行方案选型时,希望了解两种产品的特性差异,尤其在特定场景的性能差异。

本文介绍 SmartX 分布式块存储产品与某商用 Ceph-based 存储产品在虚拟化、数据库等典型块存储场景下用户实测的性能对比,以下为正文。

测试目标与方法

本次测试基于用户正在使用的 H3C CAS 虚拟化平台,使用 SmartX 分布式块存储 SMTX ZBS(以下使用 “SMTX ZBS”)与现有方案使用的某商用 Ceph-based 分布式存储产品(以下简称 “商用 Ceph 存储”)进行性能对比,通过以直接的存储性能测试与模拟关键数据库应用的方式了解 SMTX ZBS 在此场景的适用性与性能指标。

现有方案架构:基于商用 Ceph 存储的虚拟化方案

zbs_vs_ceph_1.png

新型方案架构:基于 SMTX ZBS 存储的虚拟化方案

zbs_vs_ceph_2.png

现有方案存储节点硬件配置:商用 Ceph-based 存储 – HDD 集群节点

zbs_vs_ceph_3.png

现有方案存储节点硬件配置:商用 Ceph-based 存储 – 全闪集群节点

zbs_vs_ceph_4.png

新型方案存储节点硬件配置:SMTX ZBS

zbs_vs_ceph_5.png

测试方法

本次测试包含了下几个主要的测试场景:

1. SMTX ZBS 存储在虚拟化平台的性能基准测试
在虚拟平台创建测试 VM(1 个 |6 个 VM),通过 iSCSI 协议直接挂载 ZBS Volume 作为测试盘,以及通过 iSCSI 协议挂载 ZBS Volume 作为虚拟平台 Datastore、再从该 Datastore 创建 vDisk 作为测试盘两种方式进行测试;以 FIO 为测试工具,获得 IOPS 共 3 种测试指标进行对比;

2. SMTX ZBS 和商用 Ceph 存储在虚拟化平台的性能对比
在虚拟平台创建测试 VM(1 个|6 个|3 个 VM),从 3 种不同存储来源的 Datastore(SMTX ZBS|HDD Ceph|All-flash Ceph)创建测试盘进行测试;以 FIO 为测试工具,获得 IOPS 共 3 种测试指标进行对比;

3. SMTX ZBS 和商用 Ceph 存储在虚拟化平台上的 Oracle 应用性能对比
在虚拟平台创建 Oracle VM,从 2 种不同存储来源的 Datastore(SMTX ZBS|HDD Ceph)进行测试,模拟核心应用的实际运作;以 Swinbench 为测试工具,获得 TPS 测试指标进行对比;

测试数据

1. SMTX ZBS 存储在虚拟化平台的性能基准测试

zbs_vs_ceph_6.png

zbs_vs_ceph_7.png

zbs_vs_ceph_8.png

从此测试结果可以发现 SMTX ZBS 除随机读取的性能表现受到虚拟平台较大的影响,其他测试项目则差距不大;SMTX ZBS 在此场景的 2 副本与 3 副本的测试结果相当接近,说明 ZBS 分布式块存储在更高的数据可靠性配置下,依然能保持高性能水平。

2. SMTX ZBS 和商用 Ceph 存储在虚拟化平台的性能表现对比

zbs_vs_ceph_9.png

zbs_vs_ceph_10.png

zbs_vs_ceph_11.png

从此测试结果可以发现 3 节点 SMTX ZBS 存储其随机访问的性能表现皆大幅超越现有方案的 20 节点 HDD Ceph 存储及 5 节点全闪 Ceph 存储,在随机读取的测试项目上達到最高的性能提升;体现了 SMTX ZBS 针对块存储场景优化的系统架构的性能优势。

3. SMTX ZBS 和商用 Ceph 存储在虚拟化平台上的 Oracle 应用性能对比

zbs_vs_ceph_12.png

* 由于基于商用 Ceph 存储的 Oracle 测试项目无法顺利完成(测试中途崩溃),此测试仅有基于 SMTX ZBS 存储的 Oracle 性能测试结果。

从测试结果可以发现测试过程 SMTX ZBS 的性能表现相当稳定且持续维持在较高的水平,说明 SMTX ZBS 面对核心且压力较大的应用场景能够提供持续且稳定的存储性能支撑。

测试结论与项目亮点

SMTX ZBS 在三份副本的配置能维持与两副本配置相同的性能表现,在关键应用高可靠的需求场景下 SMTX ZBS 分布式块存储亦能提供高性能存储服务;

SMTX ZBS 能够以更少的节点数量提供比商用 Ceph-based HDD或全闪存储更好的性能表现,随机读取有最高的性能提升,对于大数据、AI 运算等场景提供更好的支撑;并在简化运维复杂度的同时,能降低运维人员与 IT 团队的管理成本;

基于 SMTX ZBS 的虚拟化平台,在核心且压力较大的数据库应用场景,如:Oracle,能够提供持续稳定且高性能的存储支撑。

延伸思考

以上测试仅对比了 SMTX ZBS 与商业 Ceph 存储的性能差异,但 SmartX 分布式块存储系统还会为核心业务的基础架构带来如下可能性: