Inference System Knowledge Index
本文件是 inference-system 域的全局索引，记录推理引擎架构、调度、加速技术与多样化部署场景的经验知识。
LLM 写作/决策前首先读取本文件，定位相关节点后按需读取 insights/{node}.yaml。
立场前缀「暂定：」表示由 medium 置信条目提炼、尚无 high 条目锚定；无前缀立场已有 high 条目支撑。
活跃矛盾、跨域热点详情与结晶留痕见 insights/_contradictions.md。
知识体系状态
- 节点总数: 12
- 有 Insights 的节点: 12
- Insight 总条目: 200（6 superseded、3 stale，有效 191）
- high 置信条目: 5（hardware-specific-008/013、inference-parallelism-007/010、kernel-optimization-006）
- 上次结晶: 2026-09-15
- 覆盖文章数: 106
- 定位: 活跃飞轮（使用率70%/引用率67%/闭环率61%，五域最高）
节点索引
Insights 列为有效条目数（不含 superseded / stale）。
引擎架构
| 节点 |
Bloom |
Insights |
当前核心立场 |
| engine-architecture |
evaluate |
17 |
暂定：推理系统控制面数据面分层，调度/内存/传输上移集群本体；CPU 前端可拆为独立网关按文本负载扩缩；稀疏记忆表使引擎兼管大规模权重与请求历史。 |
| serving-infrastructure |
evaluate |
28 |
暂定：部署配置空间靠经验调参不可行，成本建模+Pareto 搜索与仿真推进控制面；benchmark 须把长度分布、抖动、缓存与质量 eval 作为同一实验合同。 |
分解服务
| 节点 |
Bloom |
Insights |
当前核心立场 |
| pd-disaggregation |
evaluate |
23 |
暂定：分离本身不是收益来源，收益看 goodput 口径、比例匹配与交接频率；固定 P:D 比例错配是结构性问题，MoE 下转向共享专家或同构可替换池；数据面以 push 为主。 |
调度
| 节点 |
Bloom |
Insights |
当前核心立场 |
| request-scheduling |
evaluate |
20 |
暂定：调度信号沿队列长度→prefix 命中→KV 位置→学习式路由演化；agentic 混合流量下单请求 token 预算与 prefill 节拍比排序更关键；扩缩容不能只看 GPU 利用率。 |
加速技术
| 节点 |
Bloom |
Insights |
当前核心立场 |
| speculative-decoding |
evaluate |
18 |
暂定：验证在高端加速器近乎免费，瓶颈是草稿延迟；收益随并发收窄，多为部署期静态选择；边缘侧长草稿是否划算取决于草稿与目标权重是否占独立带宽通道。 |
| kernel-optimization |
evaluate |
12 |
kernel 优化主战场是数据移动与调度粒度：sort/scan/reduce 交 CCCL primitive，稀疏小读融合为宽 kernel；无活状态的 tile 可作 GPU 抢占单位。 |
| model-quantization |
understand |
7 |
暂定：量化格式与推理引擎是需逐一验证的笛卡尔积；显存收益须计入缩放因子开销，上芯片还须计入旋转网络面积；风险按部件排序（权重<激活<KV<注意力）更可控。 |
并行与扩展
| 节点 |
Bloom |
Insights |
当前核心立场 |
| inference-parallelism |
evaluate |
16 |
AFD 收益来自汇聚 token 的 FFN 容量扩张，但对 A:F 比例敏感且不可移植；需超节点级带宽，并行边界按 NVLink 域划分；DCP 可移植性看注意力子层结构。 |
| moe-serving |
evaluate |
14 |
暂定：wide EP 与故障半径的矛盾由 Elastic EP 缓解；负载均衡看训练时是否已做；共置下长上下文使 FFN 利用率塌陷，专家池跨阶段共享须改单边直写防死锁。 |
场景扩展
| 节点 |
Bloom |
Insights |
当前核心立场 |
| long-context-serving |
evaluate |
12 |
暂定：hybrid attention 使每 token KV 吞吐降 7-23x，是长上下文前提；百万 token 前缀缓存成调度硬约束；DCP/PCP 支持与 day-0 代码路径决定能力有无。 |
| multimodal-inference |
evaluate |
7 |
暂定：多模态瓶颈在跨模态 DAG 关键路径与 encoder 重复计算；指标应按用户可感知交付单位反推，E/P/D 三段何时拆开取决于各段是否形成独立瓶颈。 |
| hardware-specific |
evaluate |
15 |
可部署性由算子/精度/runtime-role 与软件栈版本共同决定而非规格表；硬件裁剪从 prefill/decode 扩展到 attention/FFN 两类算子，调频与权重通道成新成本项。 |
- 跨域热点：pd-disaggregation×kvcache、long-context-serving×kvcache:offload、inference-parallelism×cluster-infra:supernode-topology、engine-architecture×agent-system:harness-architecture、moe-serving×distributed-training、hardware-specific×cluster-infra。
- 活跃矛盾（3 条）：矛盾-001 MoE 是否需运行时负载均衡（判据=训练时是否已均衡）；矛盾-002 AIConfigurator 适用边界；矛盾-003 实例级 PD 对 MoE 是否仍正收益（2026-09-15 新增）。矛盾-004 LPX 机架口径已关闭。本轮比对约 699 组。
- 知识缺口：H20/国产卡 PD 配比实测、AFD 非 NVIDIA 超节点验证、引擎内部结构源码刷新（3 条 stale）。11 条待验证候选见详情页。
上次结晶记录
2026-09-15：新增 46 条；3 处升 high、1 处单源 high 降级、3 条 stale；bloom 2 处上调（kernel-optimization、long-context-serving → evaluate）；12 节点 stance 重写；新增矛盾 2 条（1 活跃、1 关闭）；eval scenario-001 自评 acceptable。