前言
本次,我们将介绍 SmartX 超融合对 Oracle 数据仓库跑批性能支持与优化的验证。
数据仓库简介
数据仓库(Data Warehouse)是一种面向分析和报告的数据管理系统。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库,数据仓库能够集中并整合多个来源的大量数据。企业中的业务分析师、数据工程师、数据科学家和决策者通过商业智能(BI)工具、SQL 客户端和其他分析应用程序访问数据,从中获得宝贵的业务洞察,以改善决策。
项目背景
某金融客户在生产环境使用 Oracle 数据仓库为 Crystal Reports(水晶报表)系统提供数据加工和数据处理。随着业务量和数据量的增长,Oracle 数据仓库跑批的性能越来越差,目前跑批工作是从凌晨开始到早上 6 点结束,考虑到后期数据量还会继续增大,可能会继续增加跑批时间,影响白天业务正常开展。因此,客户希望能够优化基础架构,缩短数仓跑批运行时间。
同时,生产环境的数据仓库还部署在 IBM 小型机上,虽然运行较为稳定,但由于小型机使用年限较长,考虑到设备运行风险及运维复杂度等问题,客户希望进行小机下移 x86 的可能性验证,以应对未来的业务增长。
基于以上两点原因,客户希望使用 SmartX 超融合测试 Oracle 数据仓库跑批性能。
测试目标与方法
本次测试是为了验证 Oracle 数据仓库在超融合架构下的跑批性能表现。在数据量完全相同的情况下,对比生产环境现有方案与基于 SmartX 超融合的 Oracle 数据仓库跑批时间,一共进行 3 轮跑批测试,时间越短表现越优异。
生产环境
数据仓库跑批数据流
将 DB2 数据库的数据,通过 Informatica(ETL 抽数工具)抽取到 Oracle 数据仓库当中,接下来进行 Oracle 数据仓库跑批,完成数据加工和数据处理的工作。
生产环境数据仓库基础架构
数据仓库系统组件资源配置
生产环境数仓部署在 IBM AIX 系统。
测试数据
基于客户的测试目标和测试场景,Oracle 数据仓库在超融合架构和生产环境的跑批测试数据如下图所示:
测试结论与项目亮点
- 经过多轮测试验证,SmartX 超融合架构相比原生产架构的小机 + 集中式存储,在进行 Oracle 数据仓库跑批时有明显的性能提升,跑批时间可有效缩短 36%,并得到客户认可。
- 验证了 Oracle 数据仓库从小机下移 x86 服务器的可行性,为客户后续使用 SmartX 超融合替换小机 + 集中式存储,提供了量化参考依据;
- 提高了资源利用率——Oracle 数据仓库跑批业务通常是在夜间运行,超融合架构在白天可以支撑其他应用和数据库等业务。这样,基础架构硬件资源可以得到充分的复用,最大化资源利用效率。
延伸思考
以上测试仅验证了超融合架构支撑 Oracle 数据仓库系统跑批的性能的可行性和优势。除此之外,超融合方案还会为企业开展关键业务带来如下价值:
- 提升可靠性与可用性:针对关键业务系统最关注的可靠性问题,目前 SmartX 也为用户提供诸多超融合容灾备份方案,在提升效率和降低成本的情况下,提升系统的可靠性和可用性。欲详细了解 SmartX 容灾备份解决方案,请阅读:一文了解 SmartX 超融合容灾备份解决方案。
- 简化运维:超融合架构基于软件定义模式和通用服务器,相对于小型机方案,可以非常有效地降低系统运维复杂度以及投入成本。
- 资源整合:对于绝大多数金融客户,超融合的计算虚拟化和分布式存储可以有效统一整合各类 IT 系统的计算和存储资源,进一步降低整体 IT 的复杂度和投入成本。
- 弹性扩展:SmartX 超融合架构具有简单、易操作的横向扩展能力,在扩展容量及计算资源的同时也得到近乎线性的性能提升。
欲了解更多 SmartX 金融行业场景实践与性能验证,请阅读:
金融信创场景下 SmartX 超融合存储性能评测与支撑业务综述
SmartX 超融合金融行业数据库支撑评测合集与长期落地案例综述
SmartX 在证券:落地近 30 家机构,覆盖核心生产、信创等十大场景
SmartX 在保险:服务超 30 家客户,加速信创与云化转型
SmartX 在期货:助力 20+ 客户实现云化与信创双转型
SmartX 在基金:服务近 40 家客户,推进云化转型与业务发展
点击获取 SmartX 金融核心生产业务场景探索文章合集,深入了解 SmartX 超融合在 TA 注册登记、O32 投资交易、BI 报表等关键应用场景的具体表现与客户收益。