未来方向 — 工作负载演进¶
工作负载的变化不是渐进的——Agent、多模态、Reasoning 的出现每次都在重写"什么是典型请求"的假设。
1. Agent 长程规划带来的 KV 访问模式变化¶
传统 LLM 服务的假设：
- 请求-响应模式，每次请求独立
- KV 短寿：请求结束即可释放
- 调度粒度：批次（batch）级别
Agent 工作负载打破了这些假设：
- 单个 task 持续数分钟到数小时，KV 需要长寿命管理
- KV 有"分支-合并"结构：多个 sub-agent 并行执行，各自维护独立的 KV，最终合并结果
- 调度粒度需要从"批次"升级到"任务"级别
系统影响：
| 维度 | 传统 Chat | Agent 长程规划 |
|---|---|---|
| KV 生命周期 | 秒级 | 分钟到小时级 |
| KV 结构 | 线性 | 树状（分支-合并） |
| 调度单元 | 请求 / 批次 | 任务 / workflow |
| 容量规划 | 平均 KV 大小 × 并发 | 任务图的最大 KV 占用 |
设计挑战： KV 生命周期管理需要更长视野，调度器需要理解"任务图"而非单个请求。
2. 多模态 KV¶
图像、视频、音频 token 的 KV 与纯文本 KV 的特性差异显著：
图像 KV¶
- 图像 token 数量固定（例如，ViT patch 产生 ~256–1024 token）
- 图像内容通常不随请求变化——同一张图片在不同请求中产生完全相同的 KV
- 机会：图像 KV 是极佳的 prefix cache 目标；同一图像的 KV 可以跨请求共享
- 挑战：图像 token 的位置编码（2D positional encoding）与文本的 RoPE 不同，需要单独处理
视频 KV¶
- 帧率 × 帧 patch 数 → 每秒可能产生 1K–10K token 的 KV
- 长视频的 KV 数量级超过任何文本场景
- 视频内容相邻帧高度相似——KV 有时间维度的冗余，是压缩的巨大空间
- 研究方向：视频帧级别的稀疏 attention（只看关键帧的 KV）
音频 KV¶
- 音频 token 序列长（每秒 50–100 token），语音识别 + 理解任务的 KV 积累快
- 与文本的交错（ASR + LM）使 KV 管理更复杂
总体判断： 多模态 KV 有更大的压缩空间和跨请求共享机会，但研究尚浅，生产部署主要靠简单的 prefix cache。
3. Reasoning 模型 Long-Decode 主导下的新权衡¶
o1 / DeepSeek-R1 / QwQ 类推理模型已经让 decode 长度成为主流瓶颈：
新的资源画像：
- 单请求 decode 可达 30K–100K token，远超 prefill
- 资源占用时间长，调度不能频繁抢占
- TPOT 而非 TTFT 主导用户体验
可能的趋势：
大 Batch Decode 池¶
- 专门服务 reasoning 的副本组，与 chat 副本分开
- 更大的 batch size 提升 GPU 利用率（decode 是 memory-bound，大 batch 均摊 KV 读取带宽开销）
- 配合 DRAM offload 为长 decode 留 KV 余量
更激进的稀疏 / 量化¶
- 30K+ decode token 的 KV 在精度上有更大的压缩空间（早期 CoT 步骤对最终答案影响可能有限）
- FP4 / INT2 的极限量化在 reasoning 场景下有研究价值
- 需要评估：激进压缩对推理链质量的影响（目前数据不足）
抢占策略的重新设计¶
- 传统抢占（丢弃 KV 重算）对 reasoning 代价极高
- 新方向：基于"已生成 token 数"的抢占保护阈值——超过阈值的请求只能 swap，不能 recompute
- 或者：reasoning 请求不参与抢占，用专用资源池隔离
4. 用户会话粘性的演化¶
粘性的历史：
| 阶段 | 模式 | KV 语义 |
|---|---|---|
| 早期 API | 无状态请求 | KV 即用即丢 |
| Chat | 单 session 短粘性（分钟级） | Session-scoped KV，存活 1 次对话 |
| Agent / Coding Copilot | 跨 session 长粘性（小时到天级） | 用户级 KV，跨 session 持久化 |
| 未来 | 用户"私有 KV"（持续数周） | KV 变成用户的私有数据资产 |
"用户私有 KV"带来的新问题：
- 隔离：用户 A 的 KV 不能被用户 B 访问（哪怕两者的 prompt 完全相同）
- 配额：每个用户可以持久化多少 KV？超限后的策略是什么？
- 计费：按 GB-hour 计费的 KV 存储，和计算分开计价
- 生命周期管理：用户删除账号时，KV 需要被安全清除（类似数据库的 GDPR 合规删除）
这一趋势让 KVCache 从"系统优化手段"变成"用户数据资产"，涉及安全、合规、计费的复杂度大幅上升。
关联章节¶
- Agent 工作负载的当前特征：Agent 协作
- Reasoning 工作负载的当前特征：Reasoning / Long CoT
- 算法侧的未来方向：未来方向 — 算法侧
- 部署侧的多租户问题：未来方向 — 部署侧
版本历史¶
| 版本 | 日期 | 说明 |
|---|---|---|
| v0.1 | 2026-05-14 | 从未来方向总览拆分，补充 Agent KV 树状结构、多模态 KV 特性分析、用户粘性演化路径 |