10 月 22 日至 24 日,QCon 全球软件开发大会 2026(上海站)即将举办。大会汇聚全球一线技术专家、架构师及技术决策者,聚焦前沿技术创新与工程实践,是软件开发与架构领域具有广泛影响力的技术交流平台。作为具有丰富工程实践经验的 AI 存储厂商,焱融科技议题入选大会「AI Infra:算力效率决定规模化落地」专场,将携国内顶尖的 AI 推理存储技术成果亮相。

突破前缀限制,ProphetKV 重塑 KV Cache 复用机制
推理逐渐取代训练,成为算力支出的大头。Agent 把上下文从几千 token 拉到几十万,RAG 让每一次问答都带上整个知识库,Token 消耗以数量级往上翻——所有人都在为推理扩容。但在扩容之前,有一笔账很少有人算:这些算力里,有多少其实是白烧的。
在 RAG 场景里,主流引擎的 KV Cache 复用建立在严格前缀匹配之上,而检索结果会随查询动态重排——同样的文档块换个顺序,就不再是同一个前缀,无法直接复用已有缓存。行业惯常的补法是"多算一点":块级 KV 直接拼接,再用部分重计算补回精度,但在 20% 这种实际可接受的重算预算下,精度普遍要掉 30%~50%。
ProphetKV 是焱融科技与哈尔滨工业大学(深圳)夏文教授团队联合提出的查询驱动型选择性重算方案。它没有沿着"重建全部 cross-attention"的常规路线修补,而是换了个目标:只恢复用户问题真正会与之交互的那部分,精准识别需要重新计算的关键部分,突破传统前缀匹配限制,实现 KV Cache 跨块高效复用。
在仅 20% 的重计算预算下,ProphetKV 可保留全量 Prefill 约 96% 的精度,同时将 Prefill 耗时较全量重算降低约 4.6 倍,且完全免训练。 换句话说,精度和效率之间那道看似不可逾越的墙,被从存储的视角凿穿了。
从跨块复用到全局共享,YRCache ContextBox 释放推理存储新价值
算法只是上半场。当 KV Cache 复用从前缀扩展到任意数据块,可缓存对象也将从单次会话前缀扩展至更大规模的知识库。 同一份 KV Cache 要能够被更多请求复用,随之而来的海量缓存容量需求、跨实例共享及多级调度,进一步使推理存储从后台走到了台前。
焱融科技在国内首个将 KV Cache 专用存储能力实现硬件产品落地。 焱融 YRCache ContextBox 一体机在计算节点之外构建 AI 推理专属的 G3.5 共享缓存层,把分散在各节点的 KV Cache 汇聚成统一的上下文空间,让不同 GPU/NPU 节点直接共享、复用已算好的缓存;缓存容量不再绑定单一 GPU 服务器,算力和缓存可以各自独立扩展。结合 KVCache 管理软件打通多级缓存架构,KV Cache 在整个推理集群里流动、复用,大幅提升缓存复用效率与 Token 产出效能。
10 月 23 日,焱融科技首席架构师彭德跃将在演讲中,完整拆解 ProphetKV 从观测到工程落地的全路径,分享从前沿算法到推理存储产品完整落地闭环,以及如何通过存储创新,大幅拉升 GPU 利用率、压低 Token 推理成本,为大模型推理业务构建坚实数据底座。
大会期间,焱融科技还将在 B04 展位集中展示全栈 AI 存储产品与技术成果,并围绕长上下文、多轮对话、PD 分离及 AI Agent 等场景,与参会者深入交流 AI 训推存储架构的创新实践。欢迎各位莅临!