背景

分布式存储以及衍生超融合架构经过多年的发展,客户部署规模已从十几节点扩大到几百节点,支撑的业务从边缘走向一般生产,甚至关键生产业务,例如数据库场景。分布式架构的可靠性和容错能力,以及各种极端故障场景的影响范围和恢复时长,是客户主要关注的 SLA 指标。基于此,本文剖析分布式架构原理,定义各种故障场景及标准验证方法,希望在发现问题、优化产品的同时,为用户提供横向对比不同产品可靠性的参考依据。

本文仅针对分布式架构异常场景中的 I/O 连续性和副本安全问题进行展开,并重点探索故障模拟以及监控的可行技术手段。

分布式架构故障分类:

  • 磁盘故障
  • HBA/RAID 卡故障
  • 网络故障
  • 系统/节点故障
  • 服务组件异常

磁盘故障

为了理解不同磁盘故障对集群造成的影响,首先需要了解分布式存储常见分区结构特征。

  • 启动分区(Boot):为了提高 OS 本身对单块磁盘的异常容忍能力,通常需要部署在 RAID1 分区之上,采用硬件 RAID,无需独立引导磁盘;但当使用软件 RAID,则需要一个“引导分区先引导 RAID,再加载 OS”的过程,此时 Boot 分区需要独立磁盘或 RAID1 保护。
  • 系统分区(OS):部署在 2 块磁盘上(硬件 RAID/软件 RAID)。
  • 元数据分区(MetaData):承载集群关键元数据。
  • 缓存分区(Cache):提高 I/O 读写性能。
  • 日志分区(Journal):用于写操作异常后的数据恢复与校验。
  • 持久化存储分区(Partition):大容量存储空间,数据最终都会落在此分区。

不同产品设计时,会基于自身需求和产品特点,将不同的分区和磁盘组合使用,当磁盘故障时,造成的影响也会因架构设计的不同,有一定的区别性。例如:

  • 磁盘组合设计一
    • Boot + OS + MetaData(RAID 保护)
    • Cache + Journal(数据副本保护)
    • Partition(数据副本保护)
  • 磁盘组合设计二
    • Boot(RAID 保护)
    • OS + MetaData(RAID 保护)/Cache + Journal(数据副本保护)
    • Partition(数据副本保护)
  • ……

磁盘 – 不可访问

磁盘 – 访问错误

磁盘 – I/O 超时/无响应

超时指的是发往磁盘 I/O 没有在规定的时间内返回,原因可能包含多种,如磁盘/HBA 固件版本异常、内核模块异常等。

磁盘 – 延迟较高

延迟较高指的是磁盘处于慢速状态,I/O 没有达到超时异常,但是响应速度明显低于预期,通常触发条件为磁盘异常或者 HBA 固件异常。在异常情况下涉及到慢速设备的 I/O 均会受到影响。

磁盘 – 性能下降

SSD 随着使用时间的增长有可能会出现峰值性能下降的情况,作为存储系统自身,可能比较难在不影响业务的情况下感知到这一现象。通常此类场景应该会伴随着延迟升高或者寿命告警等 S.M.A.R.T. 参数变化。

磁盘 – 寿命不足

此类异常仅作为警示指标,常见如下:

  • S.M.A.R.T. 工具返回的磁盘总体健康状态。
  • 剩余寿命百分比(仅 SSD 具备此指标,HDD 不具备)。
  • 扇区的重定向次数(在部分扇区/颗粒损坏时,固件可以将部分区域屏蔽,引导写入未统计在标称容量中的预留区域)。

HBA/RAID 故障

NVMe 通过 PCIe 通道与 CPU 直连,故不存在 HBA/RAID 卡故障。而本地存储 SSD 和 HDD 一般都挂载在同一块 HBA/RAID 上,HBA/RAID 故障可能会同时影响多块磁盘设备。HBA/RAID 故障可能会导致部分或者全部磁盘变为异常状态,异常状态包括:

  • I/O 错误
  • I/O 无响应
  • I/O 延迟高
  • 无法挂载磁盘
  • ……

并可能发生多个磁盘出现上述故障叠加。影响情况与磁盘异常中多个磁盘同时异常一致。

部分遇到的 HBA/RAID 故障无法通过重启系统或者服务自动修复,需要人工介入升级固件或者整体替换 HBA/RAID 卡修复。

网络故障

网络中断

网络延迟

网络风暴

如果网络中出现持续性网络风暴(通常会由核心交换机异常或是配置了错误的全局网络策略引发),丢包率大量上升,间歇性导致数据链路断开,延迟大幅度增加且不稳定。并且可能会出现集群元数据服务正常,但是节点间数据链路处于异常的状态(理论上是小概率事件,但可能存在)。可能会出现大量的剔除副本请求,导致大量副本进入降级状态,触发数据恢复(也会受网络影响),有数据安全风险。

异常

系统与节点异常

服务异常

以上就是我们整理的分布式存储故障和异常类型,以及通过故障模拟检验架构可靠性的完整方法体系。后续,SmartX 将结合客户案例,分享如何在实践中检验分布式存储架构可靠性,敬请期待!

点击链接,或扫描下方二维码,下载《SmartX 分布式块存储 ZBS 自主研发之旅》,深入了解 ZBS 如何利用架构优化、数据同步协议 RDMA、接入协议 NVMe-oF 等技术提升性能与可靠性。

推荐阅读

 

继续阅读