跳转至

开放问题与未来方向

KVCache 已经是系统级资源,但它还在快速演化。本章梳理目前看得到的几条主要趋势,按四个维度分组。这一章的内容时效性最强,会随技术进展持续更新。


本章结构

子页面 内容
算法侧 新一代 Attention(MLA / SSM)对 KV 语义的冲击;自适应稀疏 / 量化;学习型 KV 压缩;Position-Invariant Prefix Cache
系统侧 CXL 与近存计算;KV 池作为独立分布式存储产品;KV / 权重 / 激活的统一内存抽象;可观测性
部署侧 Attention / MLP 分离;多 LoRA 共享 KV;Serverless LLM 冷启动;多租户公平性
工作负载演进 Agent 长程规划的 KV 树状结构;多模态 KV;Reasoning long-decode 主导下的新权衡;用户 KV 粘性演化

跨维度的开放问题

把各维度的分散方向汇总成几个高价值的"未解之题":

问题 难点
Position-invariant prefix cache 既要复用又要保持位置正确
标准化的 KV cache 协议 各引擎的实现差异大,统一接口难定
真正可移植的 KV 量化 不同硬件、不同 kernel 都能直接用
KV cache 命中率的可预测性 当前难以提前估计某种部署下的命中率
多租户的公平性保证 共享 cache 池下的 SLO 隔离

时间线参考(2025 视角)

状态 技术
已成熟 PagedAttention、Prefix Cache、GQA、FP8 KV、PD 分离(部分场景)
2024–2025 进行时 跨实例 KV 池、cache-aware routing、MLA 深度部署、长上下文 SP/CP
早期研究 position-invariant cache、unified memory、CXL 落地、agent-aware 调度

KVCache 还远不是 settled science——它仍处在"还在发明基础概念"的阶段。


关联章节

版本历史

版本 日期 说明
v0.1 2026-05-14 框架搭建
v0.2 2026-05-14 拆分为子页面,本页保留总览、开放问题汇总与时间线