案例亮点
- 完成 SmartX 超融合在恒生柜台交易的系统测试，验证超融合架构承载证券核心业务的能力。
- 完成 SmartX 超融合信创平台基准性能测试并与 x86 平台测试数据进行对比，测试结果表明该配置可以满足该证券公司业务需求。
- 信创场景超过 30 节点、非信创场景近 50 节点承载多种应用，大部分信创应用实现单轨制运行。
某证券公司是全国首批设立的综合类证券公司之一，目前共有证券分支机构一百多家，期货分支机构十几家。
随着科技自立自强上升为国家战略高度，信息技术应用创新不仅是实现数字化转型的关键抓手，同时成为我国强化网络安全与信息安全的重要手段。该证券公司高度重视底层架构安全稳定和自主可控，将信创工作纳入信息系统建设整体规划，2021 年启动基础设施信创化改造调研工作，2022 年以金融信创试点工作为契机，基于志凌海纳 SmartX 超融合对 IT 基础架构进行全栈信创升级改造。
在改造过程中，该证券公司首先对超融合软件承载核心业务系统的能力进行验证，完成了超融合软件在恒生柜台交易的系统测试，测试结果表明超融合系统可以稳定承载柜台交易系统运行；进一步，对国产超融合软件在信创硬件平台进行评测并与 x86 平台测试数据进行对比，测试结果表明该配置可以满足证券业务需求。
开展恒生柜台交易系统测试，验证 SmartX 超融合核心业务承载能力
恒生柜台交易系统是恒生电子针对券商提供的一套用于证券交易的业务系统，在券商行业拥有广泛的用户基础，作为支撑经纪业务、PB 业务的重要业务系统，是券商的核心业务系统，也是券商 IT 价值的核心所在。
测试目的
验证 SmartX 超融合承载恒生柜台交易的能力。通过验证核心生产系统的支撑能力，来验证 SmartX 具备普遍的生产就绪的产品能力。
期望测试结果
（1）AS/LS 无严重积压情况。
（2）数据库虚拟机 CPU 使用率能稳定在 30%-40%。
测试方法
在 SmartX 集群上创建虚拟机，部署恒生柜台交易的应用和数据库组件，模拟恒生的柜台交易。
组件说明
AR：可以组成复杂的网络拓扑构成前置通信网络，将客户端的服务请求通过合适路径转发到相应的总线 AR 上。
BAR：一边与逻辑 AS 直连，承担对各逻辑 AS 服务定位功能；一边与接入 AR 相连，接受并转发来自接入 AR 的各类服务调用请求。
LS：基于原子 AS 提供的原子服务完成业务逻辑，一般直连所依赖的原子 AS；当逻辑 AS 需要使用其他逻辑 AS 提供的服务或者非直连原子 AS 提供的服务来完成复杂业务时，均通过总线 AR 完成调用，且逻辑 AS 只能连一组总线 AR。
AS：用于向逻辑 AS 提供类似数据库操作等原子服务，只允许被逻辑 AS 直接连接。
图 1：恒生柜台交易系统架构图
图 2：测试虚拟机分布示意图
测试虚拟机配置和数量
|
虚拟机功能 |
配置 |
数量 |
|
AS（C_CALL） |
8C16G |
6 |
|
AS（C_USER） |
8C16G |
6 |
|
AS（Other） |
4C16G |
9 |
|
LS（C_USER/C_CALL） |
6C16G |
6 |
|
LS（Other） |
4C16G |
9 |
|
DB |
32C64G |
1 |
软硬件配置
|
服务器 |
SmartX Halo 8100s |
||
|
CPU |
2*Intel Xeon(R) Gold 6242 @2.8GHz*16C |
||
|
SSD |
2*Intel S4610 960G |
||
|
虚拟化 |
ESXi 6.7.0 |
||
|
GuestOS |
CentOS 6 |
||
测试数据
|
序号 |
功能号 |
测试场景 |
并发 |
SMTX 平均TPS |
生产参考 TPS |
|
1 |
331100 |
客户登录校验 |
1000 |
11000 |
4400 |
|
2 |
333002 |
普通委托 |
1000 |
7000 |
6200 |
|
3 |
333104 |
持仓查询 |
1000 |
14000 |
5100 |
测试结论
用户登录校验场景在 300 并发的情况中间件无积压，TPS 8000-9000；进行压力测试 1000 并发时，中间件偶尔会有积压，TPS 接近 12000，Oracle 所在节点带宽使用接近测试网络带宽上限，如果业务网络带宽能够替换成 10Gb 网络，积压会进一步减小，TPS 也会增加。
测试结果表明超融合架构能够满足承载恒生柜台交易稳定运行的需求。
基于信创服务器进行性能验证，匹配使用场景与业务需求
基于之前在 Intel 环境下核心柜台交易测试结果和生产集群承载三方接入交易一年左右时间的验证，该证券公司在进入信创试点时，要求 SmartX 基于信创设备进行基础性能测试，测试内容包括但不限于：
- 验证基于信创服务器环境超融合平台的快速部署能力。
- 验证超融合信创平台资源管理功能。
- 验证超融合信创平台的基础性能。
- 验证超融合信创平台的稳定性和高可用，包括模拟磁盘故障、节点故障、网络故障等。以平台基础性能测试为例，分别说明鲲鹏和海光环境随机 I/O 性能和顺序 I/O 性能测试情况。
鲲鹏集群测试 – 5P5V 随机 I/O 性能测试
测试目的
测试在集群中的每一个服务器节点上各运行一台性能测试虚拟机条件下集群随机 I/O 性能，衡量指标为 IOPS。
预置条件
- 集群状态正常，每个节点创建 1 台虚拟机并安装 FIO 测试软件。
- 虚拟机配置：4vCPU，8G 内存，测试磁盘大于 50G。
测试步骤
- 为每台虚拟机添加一块 50GB 大小的磁盘。
- 配置 fio 参数，典型配置如下：
- 4K 随机写
- 4K 随机读
- 4K 随机 70% 读 30% 写
- 8K 随机写
- 8K 随机读
- 8K 随机 70% 读 30% 写
- 执行 fio 测试并记录结果，每个 IO 模型执行 3 分钟。
测试结论
|
测试模型 |
IOPS（K） |
Latency（ms） |
|
4k_rand_100%write |
157 |
4.0 |
|
4k_rand_100%read |
380 |
1.6 |
|
4k_rand_70%read |
183/78.2 |
2.0/3.5 |
|
8k_rand_100%write |
145 |
4.5 |
|
8k_rand_100%read |
352 |
1.8 |
|
8k_rand_70%read |
162/69.5 |
2.2/3.9 |
鲲鹏集群测试 – 5P5V 顺序 I/O 性能测试
测试目的
测试在集群中的每一个服务器节点上各运行一台性能测试虚拟机条件下集群顺序 I/O 性能，衡量指标为 MBPS。
预置条件
- 集群状态正常，每个节点创建 1 台虚拟机并安装 FIO 测试软件。
- 虚拟机配置：4vCPU，8G 内存，测试磁盘大于 50G。
测试步骤
- 为虚拟机添加一块 50GB 大小的磁盘。
- 配置 fio 参数，典型配置为：
- 256K 顺序写
- 256K 顺序读
- 5 台虚拟机同时执行 FIO 测试并记录结果。
测试结论
|
测试模型 |
MBPS（MiB/s） |
Latency（ms） |
|
256k_write |
5003 |
16.9 |
|
256k_read |
10800 |
7.7 |
海光集群 – 4P4V 随机 I/O 性能测试
测试目的
测试在集群中的每一个服务器节点上各运行一台性能测试虚拟机条件下集群随机 I/O 性能，衡量指标为 IOPS。
预置条件
- 集群状态正常，每个节点创建 1 台虚拟机并安装 FIO 测试软件。
- 虚拟机配置：4vCPU，8G 内存，测试磁盘大于 50G。
测试步骤
- 为每台虚拟机添加一块50GB大小的磁盘。
- 配置 fio 参数，典型配置如下：
- 4K 随机写
- 4K 随机读
- 4K 随机 70% 读 30% 写
- 8K 随机写
- 8K 随机读
- 8K 随机 70% 读 30% 写
- 执行 fio 测试并记录结果，每个 IO 模型执行 3 分钟。
测试结论
|
测试模型 |
IOPS（K） |
Latency（ms） |
|
4k_rand_100%write |
110 |
4.6 |
|
4k_rand_100%read |
393 |
1.2 |
|
4k_rand_70%read |
149/63.9 |
1.6/4.1 |
|
8k_rand_100%write |
71.2 |
7.2 |
|
8k_rand_100%read |
313 |
1.6 |
|
8k_rand_70%read |
103/44.3 |
2.0/6.8 |
海光集群 – 4P4V 顺序I/O性能测试
测试目的
测试在集群中的每一个服务器节点上各运行一台性能测试虚拟机条件下集群顺序 I/O 性能，衡量指标为 MBPS。
预置条件
- 集群状态正常，每个节点创建1台虚拟机并安装 FIO 测试软件。
- 虚拟机配置：4vCPU，8G 内存，测试磁盘大于 50G。
测试步骤
- 为虚拟机添加一块 50GB 大小的磁盘。
- 配置 fio 参数，典型配置为：
- 256K 顺序写
- 256K 顺序读；
- 4 台虚拟机同时执行 FIO 测试并记录结果。
测试结论
|
测试模型 |
MBPS（MiB/s） |
Latency（ms） |
|
256k_write |
1732 |
38.8 |
|
256k_read |
4464 |
14.9 |
超过 80 节点承载多种信创与非信创业务，大部分信创应用实现单轨制运行
该证券公司于 2021 年引入超融合架构开启国产化与云化转型，截止目前累计部署超过 80 节点 SmartX 超融合承载多种信创与非信创业务场景，涵盖一体机与纯软件两种部署模式，五款信创服务器与三款 x86 服务器，且全部采用 SmartX 原生虚拟化 ELF（基于 KVM）。
其中，信创场景涵盖 2 个机房，6 个集群，超过 30 个节点，涉及核心生产、资管、开发测试等系统，具体包括邮箱、理财商城、数据门户、智能合规、行情、资管、TA 等应用，且大部分应用实现单轨制运行。得益于 SmartX 软硬件解耦的特性，该证券公司可以基于海光、鲲鹏等多款品牌服务器部署，在不同阶段灵活适配。
非信创场景涵盖 3 个机房，7 个集群，近 50 节点，承载部分核心业务系统，具体包括 APP、智能客服、投顾、托管、资管、TA、行情等应用。
此外，在资源管理方面，该证券公司通过云管平台对超融合等资源进行统一管理，构建起涵盖多架构、多芯片、多服务器品牌的一云多芯云平台，实现 IT 基础架构的可视、可控、可分析，进而实现精细化运营。
未来，该证券公司将持续完善平台资源线上自助交互服务能力，变弹性资源的被动响应式交付，为自动自助式、高度流程化的交付，并逐步实施平台向基于国芯服务器迁移，打造从硬件到软件的全栈式自主可控的 IT 基础架构。
下载《金融核心生产业务场景探索文章合集》系列电子书，了解更多金融用户实践。
