KV Cache外置存储升温：华为M900与英伟达CMX之后，专用SSD规格仍待明确

2026年10月8日，雷峰网刊发文章称，随着推理KV Cache规模膨胀，华为在华为全联接大会上推出OceanStor M900，英伟达已推出CMX Context Memory Storage，试图把可复用KV Cache分层外置，以存储换计算。但文章同时指出，承接这些缓存的专用SSD尚无统一规格，国内相关需求仍多在方案阶段。这也是 verified_news_scope 关注的核心事实边界。技王数据恢复

华为M900与英伟达CMX把KV Cache推向独立存储层

雷峰网文章称，推理KV Cache已经大到需要单独管理，并成为行业越来越明确的共识。文章提到，华为在华为全联接大会上推出OceanStor M900；英伟达已推出CMX Context Memory Storage。这两类被文章称为AI记忆存储的产品，会把推理过程中已产生、可能再次复用的KV Cache分层管理和存储，后续请求命中时减少重复计算，从而节省算力开销。

www.fixhdd.cn

文章引述业者观点称，即使缓存命中率越来越高，从90%向95%提升依然有价值。长期研究存储的受访者章衡举例称，假设KV Cache命中率从90%提高到95%，需要重新计算的部分会从10%降到5%，相当于重新计算那部分算力开销减少一半。需要说明，这是受访者举例，并非公开实测数据。

技王数据恢复

章衡称，KV Cache外置的核心逻辑是“以存换算”，本质上是在计算成本和存储成本之间找平衡点。已算过的历史KV，是丢掉下次重算，还是保存下来供后续命中复用，行业当前更倾向后者。但命中率继续提高，也意味着需要保存更多历史KV，高命中率区间为覆盖最后几个百分点的长尾数据，存储容量可能明显增加。技王数据恢复

从DRAM到SSD不是1:1：1:N替换与数十倍价差

雷峰网文章称，KV Cache该不该存、存在哪里，是两笔不同的账。某头部存储厂商负责人李辉认为，如果DRAM足够便宜、供应充足，全部放DRAM最省事、性能最好；但现实是DRAM既贵又缺，这给SSD留下空间。 www.fixhdd.cn

李辉称，DRAM与SSD之间不是1:1替换，而是“1:N”，一些方案中甚至可能达到1:5、1:10。按相同容量计算，李辉估算DRAM与企业级SSD成本可以相差数十倍。企业虽然能用更便宜SSD替代部分DRAM容量，但需要增加的SSD规模也更大，最终仍要同时计算容量、性能和采购成本。这些都是受访者估算，文章未给出具体型号或报价。技王数据恢复

章衡称，现阶段多数推理场景还没有到必须增加独立KV存储设备才能运行的程度。企业通常会先利用已有DRAM、内存池和本地SSD，再逐步考虑外部存储。“先把服务器内已有资源用满”是更常见的路径。雷峰网文章认为，华为M900和英伟达CMX的出现，说明原本更多发生在服务器内部的KV分层，开始进一步走向独立共享存储层。

www.fixhdd.cn

专用SSD为何还没有统一规格：3 DWPD到9 DWPD的波动

独立KV存储设备已经出现，但承接KV Cache的SSD还没有形成成熟、统一的产品品类。李辉称，行业已经开始讨论面向AI推理、尤其是KV Cache负载优化的SSD，但采购端大多数客户买的仍是普通企业级SSD。目前市场上更多还是三星、闪迪、美光等厂商的传统企业级SSD。

www.fixhdd.cn

原因不是SSD做不出来，而是KV Cache会给SSD带来什么负载，行业还没有完全摸清。李辉举例称，他接触到的一类相关方案，最初对SSD耐写能力要求约为3 DWPD，后来又提高到9 DWPD。DWPD即Drive Writes Per Day，表示一块SSD每天能够承受多少次整盘写入。李辉还称，这个指标“有可能明天变12，后天又变成5”。

指标反复变化，首先取决于KV Cache保存多久。如果一批缓存只保存几分钟，数据需要频繁更新，SSD每天承受的写入压力更高，耐久度要求也更高；如果数据需要保存几个星期，写入频率下降，耐写能力反而不是主要矛盾，容量需求会更突出。李辉提到，不同业务中的数据生命周期可能从分钟、小时延伸到天甚至周。应用形态和数据生命周期未稳定时，SSD容量、耐久度和性能指标都很难提前确定。

标准化也难。李辉坦言，SSD高度依赖规模，如果没有标准化，市场就很难形成规模。如果不同客户各自定义一套SSD规格，产品容易停留在定制化阶段。如果头部互联网大厂最终需求都不一样，存储厂商很难依靠单一规格获得规模。李辉估算，行业形成较统一产品共识可能还需6至12个月；即使标准确定，后续产品开发、验证和优化还可能再花约1年。这是其个人估算，不是已公布时间表。

缓解DRAM，但不直接缓解HBM：首Token与搬运成本

把历史KV Cache搬出DRAM后，最直接缓解的是DRAM负载压力。章衡称，外置KV缓存目标之一，是减少服务器对大容量DRAM的依赖。他的说法是，核心目标其实是“换内存，不是换显存”；内存太贵时，不如少买内存、多买SSD。这类方案中，原本需要长期留在DRAM中的一部分历史KV，可以继续下沉到SSD，从而减少内存配置。

但KV Cache外置对HBM的缓解没有那么直接。章衡认为，外部存储更多影响首Token延迟，即模型从收到请求到生成第一个Token的等待时间。历史KV从外部存储调回来的速度，会影响模型多久开始生成首个Token；一旦开始生成Token，相关KV已经回到显存，后续生成速度仍依赖高速显存。

文章指出，当前推理过程中，模型权重和数据仍需要不断搬运。SSD解决的是存得下、存得有性价比，但它解决不了搬得够不够快。随着不同存储层级之间的价差和供应差异扩大，分层和卸载正在更早进入推理系统设计。

存算一体能减少搬运，但替代不了历史KV存储

AI芯片公司创始人顾淮称，存算一体（CIM）试图减少的，正是模型权重和当前数据的搬运开销。在传统推理架构中，模型权重和中间数据需要在存储单元与计算单元之间频繁移动；CIM希望把部分计算尽量放到数据附近完成，减少反复搬运。

顾淮介绍，当前请求为了快速生成Token，相关数据会放在DRAM或更靠近计算单元的SRAM中；模型权重和KV等数据如果能在靠近计算的位置被重复利用，就可以减少反复搬运。他认为，这种优势在Prefill阶段尤其明显，高并发场景下，同一组模型参数可以服务多个请求。顾淮以100路并发举例称，同一组参数可以被多个请求复用，因此不需要为每个请求重复搬运一遍，“并发数越多越好”。这是举例说明，不是公开基准测试。

到了Decode阶段，不同请求使用的KV缓存并不完全相同，能够在请求之间重复利用的数据更少。因此，顾淮认为CIM在这一阶段的收益没有Prefill明显。若未来CIM进入服务器，一个直接作用可能是降低首Token延迟，并支撑更高并发。但它并不能替代历史KV Cache的存储需求。顾淮称，历史对话产生的大量KV仍然需要SSD等大容量介质保存，后续请求再次命中时，再把需要的数据调回当前计算路径。

中国市场：已有加单迹象，但需求仍在方案阶段

雷峰网文章提到，北美市场已经有客户因为AI推理和KV Cache增加SSD采购；中国市场也开始出现加单，但速度相对更慢。李辉称，目前国内SSD需求的大头仍在训练和常规推理，KV Cache相关需求还在方案阶段。这是受访者观察，文章没有披露具体客户或采购规模。

李辉认为，KV Cache未来可能成为企业级SSD的重要增量之一，但这块市场目前仍处于“百花齐放”的阶段。对国内企业而言，从已披露信息看，是否采用外置KV Cache，需要先看自身请求复用率、上下文生命周期、已有DRAM和本地SSD余量，以及SSD耐久成本，而不是只看存储单价。

目前公开资料尚未说明华为OceanStor M900、英伟达CMX Context Memory Storage在中国大陆的供货、价格、兼容性和服务安排。来源也没有披露相关专用SSD的最终标准、具体客户和性能数据。

verified_news_scope：哪些已确认，哪些仍是行业讨论

把这篇雷峰网文章拆开看，可以确认的是：文章称华为OceanStor M900和英伟达CMX Context Memory Storage已经出现；行业正在讨论KV Cache分层和外置存储；专用SSD尚未形成成熟统一品类；国内市场相关需求仍在方案阶段。这些表述来自该媒体文章及其受访者，其中部分产品信息仍缺少更高等级来源独立确认。

属于受访者估算或观点的内容包括：DRAM与SSD“1:N”替换、1:5或1:10、成本相差数十倍；SSD耐写要求从3 DWPD到9 DWPD的波动；行业形成统一共识还需6至12个月、产品开发再花约1年；存算一体在Prefill和Decode阶段的收益差异。这些不应被当作已确认行业标准或实测结论。

尚未披露的信息包括：华为M900和英伟达CMX的具体规格、价格、客户、性能数据；KV Cache专用SSD的最终标准；中国大陆地区相关安排。来源未披露这些内容。最终，KV Cache外置并不是简单多花一笔存储成本就能等额省下算力成本，保存多久、复用多少次、使用什么介质，以及调取时的数据搬运成本，都会影响选择。

技王数据恢复提醒，KV Cache外置会把更多历史数据长期放到SSD上，企业应把SSD耐久度监测、故障替换、备份与数据恢复预案纳入采购和运维流程，避免把缓存可用性完全押在单一存储层。