性能实测数据公开｜焱融YRCache ContextBox全面领先开源方案

随着大模型向长上下文、多轮交互及智能体应用加速演进，AI 推理正面临新的效率挑战：上下文越来越长、并发请求持续增长，KV Cache 的高效存取与复用能力，正在成为影响首 Token 响应速度、GPU 利用率及 Token 生产效率的关键因素。

今日，焱融科技公布了 AI 推理存储一体机 YRCache ContextBox 的性能实测结果。与开源 Mooncake Store 池化方案相比，YRCache ContextBox 在 11 组全场景测试中全面领先，展现出在长上下文、高并发推理场景下的显著性能优势。

• TTFT 最高降低 90.9%，长上下文响应迈入亚秒级时代： 在 64K 上下文、4 并发条件下，首 Token 时延从 8.07 秒缩短至 0.74 秒；32K 场景低至 314 毫秒，大幅缩短用户等待时间。
  

• 极致解码稳定，高并发下不卡顿： TPOT（每输出 Token 时延）全程稳定在 15.4 ms 以内，保障用户流畅的使用体验。

• Token 吞吐量最高提升 5.13 倍，同等 GPU 释放更高 Token 产能： 全部测试场景中 Token Throughput 均保持领先；高负载饱和区系统总吞吐平均提升约 43%，峰值达到 38.2 万 tokens/s，而开源方案仅为 26.3 万。

从响应速度、持续生成效率到集群吞吐能力，YRCache ContextBox 不仅实现了推理性能的显著提升，也为大模型服务商、Token 工厂及智算中心提高单位算力产出、优化推理基础设施投入产出效率提供了坚实支撑。

为客观评估 YRCache ContextBox 的性能表现，本次测试选择 Mooncake Store 池化方案作为对比对象，在相同 GPU 集群、相同模型与推理框架条件下进行。测试环境如下：

两种方案的部署架构有所不同：

• Mooncake Store 池化方案：采用计算节点内存与本地 SSD 分层池化架构，由 Mooncake Master 与 Store Client 管理缓存资源。

• YRCache ContextBox 方案：采用计算节点内存与外置 YRCache ContextBox 共享缓存分层架构，构建独立的 KV Cache 存储层，支持跨节点缓存共享与复用。

测试中，两组方案保持相同的模型、GPU 集群与推理部署方式，仅调整 KV Connector 及对应缓存后端配置，并统一关闭 vLLM 自带的 GPU 前缀缓存，确保所有 KV Cache 复用均由被测缓存系统提供——测试结果只反映两种方案本身的差异。

测试围绕 TTFT、TPOT、Token Throughput 等关键性能指标，覆盖 32K / 64K / 128K 三种上下文长度与多档并发，综合评估两种方案在长上下文、高并发场景下的推理加速能力。

首 Token 时延（TTFT）直接影响用户发起请求后等待模型开始回答的时间，是用户最能直接感知的差异。

上图展示了 32K、64K、128K 三种上下文长度下，随推理请求并发数增加，两种方案的 TTFT 对比。可以看出，在全部测试中，YRCache ContextBox 的 TTFT 均领先 Mooncake Store。

低并发时加速效果尤其显著。4 并发下排队影响最小，TTFT 更接近 KV Cache 加载与首步计算的真实耗时，最能反映缓存方案本身的性能差异：在 64K、4 并发场景下，使用 YRCache ContextBox 能够将TTFT 从 8.07 秒降至 0.74 秒，降幅 90.9%。

并发升高后，TTFT 中排队时间的占比增大，差距有所收窄，但 YRCache ContextBox 在全部高并发用例中仍保持 22.7%–51.2% 的降幅，持续保持低延迟领先优势。

对用户而言，这意味着更短的等待时间和更流畅的大模型交互体验。在企业知识库问答、长文档分析、代码辅助和智能体多轮任务等场景中，当请求命中已有 KV Cache 时，系统可直接复用已计算的上下文状态，减少重复 Prefill 计算，让模型更快进入回答阶段。对于需要频繁调用长上下文的 AI 应用，更快的首 Token 响应不仅提升用户体验，也缩短了任务执行链路中的等待时间

TTFT 决定“等多久出第一个字”，TPOT 则决定“每个字蹦多快”——即回答能否持续、流畅地生成。

每输出 Token 时延（TPOT）数据对比

实测中，YRCache ContextBox 的 TPOT 全程稳定在 15.4 ms 以内，几乎不随并发变化；Mooncake Store 在 32 并发以上明显升高至 23–47.5 ms。以压力最大的 128K、32 并发场景为例，两者相差约 4 倍——换算成用户体感，单请求生成速度分别约为每秒 85 字与 21 字。

这意味着，面对长上下文与高并发叠加的负载，YRCache ContextBox 不仅能够更快完成 KV Cache 加载，也让缓存访问对模型持续生成的干扰更小。对于高并发 AI 助手、企业级智能体平台及在线推理服务，稳定的 Token 生成效率意味着响应速度不会随负载升高而剧烈波动，有助于改善高峰时段的服务体验，为企业制定和实现响应时延 SLO 提供性能支撑。

TTFT 和 TPOT 代表用户体验，Token 吞吐能力则直接关系到企业推理服务的生产效率。

本次 11 组测试中，YRCache ContextBox 的输出吞吐全部领先 Mooncake Store 池化方案。其中，在 64K 上下文、4 并发条件下提升 5.13 倍；进入饱和区（各场景最高两档并发）后，输出吞吐仍稳定保持约 1.41–1.46 倍优势。

总吞吐方面，饱和区内 YRCache ContextBox 稳定在 35.8–38.2 万 tokens/s，Mooncake Store 为 25.2–26.3 万 tokens/s，平均提升约 43%。

这意味着，在相同 GPU 集群投入下，ContextBox 能够提升单位时间内的 Token 产出能力，为承载更多推理请求、提升算力利用效率创造条件。对以 Token 产能衡量基础设施效率的模型服务商与 Token 工厂而言，更高的系统吞吐直接提升了既有 GPU 资源的服务能力；当业务规模持续增长时，也能减少为达到同等目标吞吐而追加计算资源的需求，改善整体推理服务的投入产出效率

性能数据最终要落到损益表上。我们对企业算力基础设施投入成本做了一个简单测算，在同等业务量下，硬件投资能够直降 30%。

系统饱和总吞吐平均提升 43%，意味着在业务总量不变的情况下，只需约 70%（1/1.43）的 GPU 算力资源即可承载同样的负载。反映到账面上：硬件采购（CapEx）直降近 30%，机柜空间、电力消耗与日常运维（OpEx）也同步下降。对规模化推理集群而言，这是百万至数千万元级的采购节省，且逐年节省的电费与运维开支会让 3 年累计差距进一步拉大。

性能之外，焱融 YRCache ContextBox 推理存储一体机解决开源纯软件方案在大规模生产集群中的快速落地挑战：

全局跨节点 KV Cache 共享，消灭缓存孤岛减少，无效 GPU 算力消耗

部分方案受单机边界限制，多节点部署会发生命中率稀释，每一个节点需要独立做 Prefill 计算，GPU 算力大量浪费在重复工作。YRCache ContextBox 构建全局共享 KV Cache 资源池，实现 “一次写入，全集群复用”，公共上下文缓存跨节点自由流转，显著降低重复预填充带来的算力开销。

DPU 全路径硬件卸载，无需改造 GPU 计算节点，适配复杂智算环境

通过 DPU 完成全部 KV Cache 数据搬运路径的卸载，对计算节点零侵入。在算力租赁、标准化智算中心等 GPU 服务器不允许开盖、无法扩容内部硬件的场景中，YRCache ContextBox 作为外置存储设备无需改动 GPU 服务器内部配置，即可完成 KV Cache 池化能力接入，大幅降低改造门槛。

更长缓存生命周期，支撑会话迁移、故障容灾、企业上下文资产化

区别于单机缓存生命周期短，节点故障缓存即丢失；YRCache ContextBox 共享存储池支持更长缓存留存周期，支持跨天会话恢复、长任务执行，会话可以在不同 GPU 节点之间自由迁移。发生节点故障时 KV Cache 状态不会清零，避免故障切换后全部重新计算 Prefill，极大提升大模型集群调度灵活性与业务可用性。

开放兼容开源生态，平滑对接现有推理栈

除焱融自研的 YRCache 软件外，产品还兼容 Mooncake、LMCache 等主流开源 KV Cache 管理组件。用户现有基于开源软件构建的推理业务，仅需要替换后端存储层即可获得软硬协同的池化加速能力，业务代码改动小，降低迁移成本。

本次实测的答案再次清晰印证：KV Cache 存储层的效率，直接决定了推理集群的上限。焱融 YRCache ContextBox 不仅是一项存储硬件创新，更是大模型推理时代的“算力放大器”——让同样的 GPU 产出更多 Token，让同样的业务花更少的钱。

未来，焱融科技将继续深耕 AI 基础设施存储创新，以高性能 KV Cache 缓存加速方案，助力广大 AI 企业和智算中心突破推理应用瓶颈。