企业使用虚拟化时普遍存在“配多少、占多少”的内存分配困境:为虚拟机预留的内存往往远高于其实际使用量,导致集群一边缺少可分配容量,一边却有大量物理内存被闲置。
榫卯服务器虚拟化 6.4引入了内存超分能力,让适合的虚拟机复用物理内存余量,在保障业务稳定的前提下提升资源利用率。本文围绕该能力,介绍虚拟化内存分配的挑战、榫卯服务器虚拟化 6.4 内存超分的实现机制、关键能力与技术路线对比,旨在为架构师、运维与研发人员提供参考。
重点内容
榫卯服务器虚拟化内存超分支持用户按虚拟机粒度进行设置,采用自研用户态换页机制,并依托共享存储承载换出内存页。其核心特点包括:
按业务粒度灵活开关,资源隔离保障核心业务稳定:管理员可按虚拟机业务重要性,独立选择是否开启超分,从虚拟机本身规避超分带来的业务干扰风险。
负载驱动动态调度,平滑管控内存置换节奏:系统基于主机内存水位、虚拟机实际内存用量动态分配物理内存;内存压力抬升时渐进式回收冷页面、约束新内存占用,避免激进换页引发业务抖动。
独立托管交换空间,依托企业级共享存储保障可靠:平台为虚拟机分配独立交换空间,自动完成创建、扩容与回收清理;复用后端企业级存储的数据保护能力,同时依托共享存储池支撑更高的超分比例。
原生适配虚拟化高级能力,全生命周期可管控:开启内存超分的虚拟机支持热迁移、DRS 动态资源调度、HA 高可用流程,兼容常规主机运维、故障恢复场景;配套完整监控指标,实现超分状态可观测、可追溯。
1 虚拟化内存分配的固有痛点
1.1 传统预留模式的资源浪费
为虚拟机配置内存时,管理员通常会为业务高峰和后续增长留出余量。这些容量一旦分配出去,集群的可分配内存就会减少,但并不是所有应用都会一直使用它们。随着虚拟机数量增长,被预留的物理内存不能流转给其他虚拟机使用,集群很快就面临可分配内存不足的瓶颈,只能通过内存扩容或增加节点解决,直接抬高了整体成本。
正是这种“虚拟机配置内存(界面上配置的分配大小)大于虚拟机活跃使用内存(虚拟机实际在物理内存中驻留并访问的内存)”的现象,让内存超分技术具备了落地价值 。
1.2 企业需要什么样的“内存超分”
内存超分可以让虚拟机配置内存总和大于物理实际内存,收益取决于同一时间所有虚拟机的活跃内存页总量。举例:256GB 物理内存的超分池,虚拟机总配置内存 384GB,即内存超分比为 1.5。
当业务高峰错峰、活跃页可驻留物理内存时,内存资源可高效复用;若多台虚拟机同时持续访问大量内存页,换入换出开销会上升,业务将产生存储侧的等待延迟。
不过,内存超分并非简单的容量透支,其实现方案直接决定业务稳定性与性能表现。为此,榫卯服务器虚拟化 6.4 基于企业虚拟化业务的特点,设计了独立的内存超分机制,在保障业务可用的前提下,充分挖掘内存资源利用率。
*注:内存超分不是“免费扩容”,它是一套有明确代价的调度体系:收益建立在业务内存存在闲置、冷页可被临时存放的前提下。资源利用率能提高多少,业务要承担怎样的性能与运维成本,需要结合具体业务特征综合判断。
业务需求 | 技术要点 | 用户价值 |
业务分级与内存保障 | 能否按虚拟机选择超分参与范围,并通过内存预留等策略保障关键业务;配置调整何时生效。 | 让不同业务采用不同保障水平,明确哪些虚拟机参与资源竞争。 |
需求感知与压力控制 | 如何感知主机余量与虚拟机需求;负载变化时如何回收或归还内存;过载时如何约束新增占用。 | 平时利用闲置容量,高峰时控制等待和争抢,并关注对宿主机及其他虚拟机的影响。 |
性能观测与容量规划 | 能否观察实际内存占用、回收压力及业务延迟;采用交换时,还需观察换入换出、存储延迟和剩余容量。 | 判断超分是否带来有效承载量,以及何时应调整参与范围、迁移负载或扩容。 |
交换空间管理与数据保护 | 采用页面交换时,空间如何准备、扩容与清理,数据由何种介质保护,存储故障和资源竞争如何影响换页。 | 提前计入存储容量与性能成本,明确交换数据的保护范围及故障影响。 |
迁移、扩容与故障恢复 | 超分状态下能否完成热迁移、内存扩容和 HA;目标主机如何检查容量,交换状态如何交接。 | 主机维护、业务扩容和故障处置有明确路径,能够按实际条件预留接管资源。 |
配置兼容与运行维护 | 与大页、加速模式、直通设备等配置有何限制;开关调整、服务升级和异常恢复是否影响业务。 | 确认现有虚拟机是否适用,并评估引入超分所需的配置变更与维护窗口。 |
榫卯服务器虚拟化 6.4 内存超分设计要点
2 榫卯服务器虚拟化中的内存超分:只为“正在用的内存”交付物理内存
2.1 核心设计思路
SmartX 对于内存超分的核心逻辑是将高频访问的内存页驻留物理内存,冷页临时换出至存储,待虚拟机访问时再按需读回;整个过程对虚拟机透明,客户机操作系统与业务应用无需改造。
同时,内存超分能力支持按虚拟机粒度独立开关:企业可设置性能敏感的核心业务沿用传统内存预留模式,仅对开发测试、桌面云、低负载服务等优先考虑资源利用率的业务开启内存超分。
主机内存划分为两个独立资源池:未开启超分的虚拟机使用预留内存,行为和原有机制保持一致;开启超分的虚拟机共享超分内存池,按实际内存开销分配,内存竞争仅局限在超分池内部。
2.2 组件分工:MMOC、MCTL 与管理面

榫卯服务器虚拟化 6.4 的内存超分能力由三类职责清晰的组件协同实现:
内存管理服务(MMOC)负责“搬”:接管超分虚拟机内存,完成页面分配、换入、换出;
内存控制器(MCTL)负责“算”:持续监测主机内存压力,确定每台虚拟机可占用的物理内存上限;
服务器虚拟化管理面负责“管”:完成虚拟机调度放置,为超分虚拟机创建、维护交换空间。
MMOC 与 MCTL 解耦设计,源于二者的定位差异:MMOC 直接操作虚拟机内存,对稳定性要求极高;而内存回收策略需要持续迭代调优。将策略逻辑放在轻量的 MCTL 中,迭代升级时无需改动、重启负责数据安全的 MMOC。
2.3 主机内存划分
扣除系统预留内存后,主机物理内存划分为“预留内存池”与“超分内存池”,两个池容量会根据用户实际使用情况弹性伸缩,不设置固定大小。
两套资源池提供差异化保障:延迟敏感、持续高内存占用的业务独享预留内存;低活跃度、业务高峰错峰的业务,可在超分池内实现内存复用,两类虚拟机之间不会发生内存抢占。
3 核心组件能力解读
3.1 MMOC:用户态换页的执行者
3.1.1 为何采用自研的用户态换页(Swap)机制
Linux 内核原生支持 Swap 机制,但榫卯服务器虚拟化选择在用户态自研换页逻辑。一方面,用户态服务修复、迭代的成本更低,对于超分组件的更新迭代,不涉及升级内核内存超分重连机制可以让用户态交换服务升级在毫秒级别完成,不会对虚拟机产生中断 ;另一方面,交换空间后端依托 ZBS、VCFS 等用户态存储服务,若直接使用内核 Swap,会产生内核反向依赖上层用户态存储的循环依赖风险。
由 MMOC 统一执行换页,可原生对接平台存储,按虚拟机粒度独立管理页面状态与交换空间。
3.1.2 组件协作

虚拟机启动后,QEMU 会和 MMOC 建立内存联动通道,把虚拟机内存的缺页事件交给 MMOC 处理。这套通知能力依托 Linux 原生 Userfaultfd 能力实现,而页面状态管理、换入换出逻辑、存储对接则由榫卯服务器虚拟化平台自研实现。
MMOC 会把虚拟机内存映射到自身地址空间,以此完成内存页的读写、迁移与回收。MMOC 为每台虚拟机的内存页维护三种状态:
None:该内存页从未分配物理内存。
Mapped:页面驻留在主机物理内存中,可以直接访问。
Swapped:页面已经换出到交换存储。
运行时,MMOC 按内存页粒度管理保护与交换,依靠多线程分工处理:缺页线程感知虚拟机访问冷页的事件,按需把页面读回内存;换出线程基于 LRU 冷热识别策略,挑选长期不访问的冷页,异步写入交换存储,释放物理内存。
3.1.3 页面访问路径
已经驻留内存的页面,走标准内存访问链路,MMOC 不介入,访问性能和普通虚拟机完全一致。
MMOC 仅在两类场景介入处理:虚拟机访问未分配、或是已经换出到存储的页面时,按需分配物理内存,或者从存储把页面读回;主机内存资源紧张时,挑选长时间未访问的冷页写入存储,释放物理内存。
3.1.4 存储后端与交换空间对接
每一台开启超分的虚拟机,都会拥有独立的交换空间,用来存放换出的内存页。MMOC 支持多种存储后端: ZBS 交换卷、第三方存储、本地文件等。所有存储后端通过统一的全局地址接入,适配超融合、存储分离两种部署形态。
3.2 MCTL:按内存压力松紧有度的决策者
3.2.1 软限制与硬限制
MCTL 不负责页面搬运,核心工作是为每一台超分虚拟机设置两道内存水位线:软限制、硬限制。
当虚拟机内存占用超过软限制:MMOC 在后台异步、平缓地回收冷页,整个过程不阻塞虚拟机业务。
硬限制是兜底防护防线:一旦触及硬限制,虚拟机新的内存申请需要等待页面回收完成后才能继续,避免主机物理内存耗尽。
软、硬限制的阈值,后台算法结合当前主机内存压力以及对响应延迟的容忍度进行综合的计算与配置。
3.2.2 压力分级与回收策略
MCTL 持续巡检主机空闲内存水位,动态调整每台虚拟机的软、硬限制阈值。平台将主机内存压力划分为多个等级,压力越高,回收策略越激进:
内存充足:不施加限制,不触发页面换出。
压力适中:阈值收紧至“业务工作集 + 预留缓冲”,优先回收长期闲置内存。
压力较高:阈值进一步贴近业务实际工作集。
压力极高:按各虚拟机内存占比分摊回收额度,同时抑制内存占用继续上涨。
主机空闲内存越多,给虚拟机预留的缓冲空间就越大。同时,在压力适中和较高的场景下,每一轮回收总量会设置上限,防止一次性大量换页引发业务性能抖动。
3.2.3 工作集的估算
工作集依靠虚拟机内气球(Balloon)驱动上报的空闲内存数据做估算,当前方案通过读取 Balloon 的统计信息来实现。
3.3 交换空间:共享存储上的可靠“外部内存”
3.3.1 独立交换空间与容量规划
被换出的内存页是虚拟机持续运行必需的数据。在榫卯服务器虚拟化 6.4 中,每一台开启内存超分的虚拟机都会分配独立的交换空间,交换空间生命周期跟随虚拟机启停、内存扩容、销毁清理自动管理。
交换空间的逻辑容量需要覆盖虚拟机的配置内存,不能仅按照预估换出的数据量来规划;当虚拟机执行内存热扩容时,平台会先完成交换空间扩容,再执行内存扩容。
采用预先分配容量的方式,可以避免运行过程中出现存储资源争抢的风险;相应的,在做超分方案规划时,需要把这部分存储资源纳入预算。
3.3.2 两种存储后端
VCFS (第三方存储)场景下,交换空间是虚拟机对应数据存储里的厚置备交换文件,通过 NBD 协议供给 MMOC 使用;ZBS 场景下(自研分布式存储),交换空间是独立的厚置备交换卷,支持部署在本地或者远端的ZBS集群。
3.3.3 数据保护与可靠性
在数据保护方面,在超融合和 ZBS 场景下,普通集群交换文件采用双副本,双活集群交换文件采用三副本;VCFS 对接第三方存储场景下,交换文件的数据保护能力,依托底层存储阵列本身。两种后端的副本机制都是用来保护已经换出到 Swap 文件的内存数据。
需要注意的是,交换空间的多副本,不能保存主机故障瞬间还驻留在物理内存里的页面、CPU 与设备状态,发生主机故障时,常规 HA 依旧需要重启虚拟机。
可靠性设计上,虚拟机内存归属 QEMU 管理,页面交换状态由 MMOC 持久化存储。就算 MMOC 进程重启,QEMU 可以重新建立连接、交还内存管理,MMOC 读取持久化的页面状态,继续正常管理超分。
当交换存储出现读写故障导致内存换入失败时,虚拟化平台高可用机制也可以及时发现故障并且尝试重启恢复虚拟机。
4 关键能力与特性优化
4.1 热迁移优化:只搬“真正在内存里”的数据
4.1.1 超分迁移的难点
热迁移是内存超分场景里容易被忽略、同时非常考验架构设计的环节。开启超分的虚拟机内存数据分布在两处:一部分驻留在主机物理内存,另一部分已经换出到存储的交换空间。如果沿用传统热迁移方案,会面临两个困境:
若先把所有换出页面全部读回物理内存再迁移,会进一步加剧源主机本就紧张的内存压力
若完整迁移虚拟机的全部配置内存,迁移耗时将和虚拟机配置内存大小成正比。
而现实运维场景中,很多时候恰恰是主机内存压力较高时,才需要执行热迁移。
4.1.2 榫卯服务器虚拟化的共享交换空间方案
榫卯服务器虚拟化 6.4 采用源主机与目标主机共享同一份交换空间的设计。在共享存储场景下,已经换出的页面本身存放在两端均可访问的存储上,无需重复传输。迁移逻辑如下:
驻留在物理内存中的页面,按照常规流程传输至目标主机。
已经换出到交换空间的页面保留在原地,目标主机只有在虚拟机真正访问这些页面时,按需读取。
从未被使用过的页面完全不参与迁移传输,在目标主机侧按需分配。
举个例子:一台配置 32GiB 内存、当前仅 8GiB 页面驻留在物理内存的虚拟机,迁移时只需要传输约 8GiB 的数据。
4.1.3 迁移期间的状态跟踪
迁移过程中虚拟机持续运行,页面随时可能发生换入、换出,这是实现的难点。平台在整个迁移周期内持续跟踪每一个页面的状态,而不是仅依赖迁移启动瞬间的快照。
在最终切换阶段,会先暂停页面换出动作,把迁移过程中新换回内存的增量页面补传完成,再将完整的页面状态交接给目标主机。这套机制保证数据不会遗漏、目标主机不会读取过期页面。该优化带来的核心收益:
迁移速度更快,传输量取决于当前驻留内存大小,而非虚拟机配置内存。
不会额外增加源主机内存压力,不需要为迁移提前把页面全部换回内存。
适合热点主机疏散场景,主机内存紧张时迁移虚拟机,不会加剧内存压力。
*适用范围:集群内迁移、共享存储的跨集群仅计算迁移;非共享存储的跨集群迁移场景,会在目标主机新建独立交换空间。
4.2 融入虚拟机生命周期
4.2.1 开关机与资源清理
榫卯服务器虚拟化中,内存超分能力深度融入虚拟机全生命周期:虚拟机开机前预先创建交换空间;关机后释放 MMOC 相关资源、清理对应的交换空间;执行内存热扩容时,平台会先完成交换空间扩容,再为虚拟机扩容内存。
4.2.2 调度与高可用
在调度层面,开启超分的虚拟机开机部署时,不再强制要求目标主机具备足够物理内存承载虚拟机全部配置内存,这也是内存超分能够提升单机虚拟机部署密度的核心原因;但热迁移场景,仍然会按照虚拟机完整配置内存校验目标主机资源容量。
在高可用层面,主机故障后,如果集群剩余预留物理内存不足,用户可允许为部分虚拟机临时启用超分,优先完成业务恢复,即 HA 内存降级能力。原本未开启超分、且兼容该能力的虚拟机,降级开启超分后原有配置保持不变;等集群资源充裕之后,用户可以手动关闭超分,恢复常规运行模式。
4.2.3 DRS 与内存分数
DRS(动态资源调度)会持续检测主机资源使用率,自动执行负载均衡。开启内存超分之后,超分虚拟机的内存分数会随换出内存量动态变化:虚拟机访问交换空间的数据越多,对应的内存分数越低。
当主机内存超分压力较高时,DRS 会自动把部分虚拟机调度到内存资源更充裕的主机,内存分数最低的虚拟机优先触发迁移。
4.3 监控指标与告警
为了让运维能够判断超分是否健康、及时干预,系统提供了针对虚拟机与集群的观测指标:
指标 | 界面含义 | 观测用途 |
|---|---|---|
活跃内存量(active size) | 虚拟机当前驻留在物理内存中的内存量 | 判断虚拟机实际占用物理内存的水平 |
交换内存量(swapped size) | 虚拟机已被换出的内存量 | 判断当前有多少内存暂存在交换空间 |
内存换入速率(swapin rate) | 每秒触发换入的内存大小 | 反映虚拟机当前性能受影响程度 |
内存换出速率(swapout rate) | 每秒触发换出的内存大小 | 反映系统回收内存的活跃程度 |
交换空间大小(swap space) | 已被用作交换空间的物理空间 | 评估交换空间占用与容量规划 |
内存超分相关监控指标
超分场景下可用物理内存空闲比例持续偏低(例如长期低于 20%),系统将触发严重告警,提示虚拟机存在响应变慢、操作超时风险,建议通过迁移虚拟机、释放内存或者扩容的方式缓解压力。
观测时需要结合指标综合判断:仅交换内存量大,代表存在大量冷页下沉到交换空间,不一定会影响业务;但如果业务持续反复换入、换出页面,会显著拖累应用响应,这时候可能需要人为干预。
5 SmartX 与 VMware 内存超分方案对比
对照维度 | SmartX | VMWare |
实现方式 | 自主开发 | 自主开发 |
开启粒度 | 集群 → 主机 → VM 三级开关 | 无独立超分开关; 由各 VM 预留/上限/份额与实际工作集决定 |
超分比例 | 不设固定超分比上限 | 不设固定超分比上限 |
交换空间位置 | 共享存储 | 共享存储,也支持主机本地 swap |
交换空间大小 | 容量无上限要求 | 容量无上限要求 |
交换空间可靠性保障 | 基于企业级存储阵列 | 基于企业级存储阵列 |
共享与迁移效率 | 共享存储的SWAP的分区,迁移效率高 | 共享存储的SWAP的分区,迁移效率高 |
内存超分稳定性表现 | 物理内存耗尽不影响主机运行,不影响VM虚拟机运行内存回收依据内存压力策略进行 | 预留内存独占保障;气球、压缩先于主机交换兜底 · 物理耗尽时新 VM 可能无法开机,已开机 VM 不受影响 |
监控可观测 | · 主机/集群两级超分比与超分内存使用率;VM 活跃内存、交换内存、换入/换出速率;交换空间用量 | · 气球回收内存实际值、气球回收内存期望值、VM 活跃内存、合并共享内存量、换入/换出速率;交换空间用量 |
可以看到,SmartX 和 VMWare 虚拟化方案均采用自研架构实现内存超分,都不设置固定超分比例上限、支持共享存储作为交换空间,并具备不错的迁移效率与企业级存储可靠性保障。
两者核心差异体现在管控粒度、内存压力下的兜底策略与监控观测维度:SmartX 支持集群、主机、虚拟机三级独立开关,运维可按需精细化控制超分能力;当物理内存耗尽时,依托压力驱动的回收策略保障主机持续运行。而VMware 依靠内存预留、气球、内存压缩等机制优先完成内存回收,通过预留内存做隔离兜底,在新建虚拟机资源准入上有不同约束。同时二者的监控指标侧重点也各有区分,适配不同的运维观测习惯。
6 内存超分业务选型与规划原则
内存超分的落地评估,核心标尺是业务实际响应表现,而非单纯追求高超分比例。建议优先在低活跃度、负载峰值错开的业务上试点,持续记录开启前后的应用响应时延、资源指标变化,逐步验证稳定性。
对于内存常驻占用高、强依赖缓存命中率、延迟敏感的业务,建议预留充足物理内存,不开启超分。需要注意:虚拟机能够成功开机,仅代表满足当时的准入校验,不代表高峰负载下依然有足够余量。
当监控发现换入换出速率持续抬升、业务响应明显劣化时,需要及时调整:缩小超分业务范围、迁移负载或者扩容物理内存,同时核查交换存储的访问时延与 I/O 繁忙度。
7 总结
内存超分是在资源利用率和性能可预期之间做权衡。榫卯服务器虚拟化 6.4 按虚拟机开启超分,把选择权交给用户;由 MMOC 安全地搬运页面,由 MCTL 根据主机压力循序渐进地调节,借助共享交换空间让热迁移只搬运驻留内存,再由管理面把开关机、调度、迁移和高可用串成闭环。
内存超分的价值是盘活闲置内存、降低硬件投入,但其前提是尊重业务的内存访问特征。合理使用的核心原则是:以业务 SLA 作为第一标尺,持续观测工作集与交换指标,拒绝盲目拉高超分比例。这样,在不影响关键业务的前提下,原本闲置的内存也能被真正利用起来。
推荐阅读:
SmartX发布榫卯服务器虚拟化6.4,全面开放第三方存储支持,提供内存超分等升级能力
SmartX虚拟化网络优化成果获Linux社区采纳,将随7.4内核发布
志凌海纳SmartX连续三年入选Gartner全球服务器虚拟化推荐厂商名单