Inference 综述¶
Inference 系统板块沉淀 LLM 推理从单机 engine 到集群级 serving 系统的架构演进：引擎架构、P/D 分离、请求调度、推测解码、kernel 优化、并行扩展、MoE serving、长上下文与多模态推理。
本板块的核心视角是：推理系统已经从“让模型跑起来”的执行层，演化成一套包含控制面、数据面、内存层、调度层和可观测性的系统软件。吞吐、延迟、成本和可靠性之间的权衡，越来越取决于 serving runtime 如何组织资源和信息流。
范围与非范围¶
- 覆盖：推理引擎、serving 基础设施、P/D 分离、调度、speculative decoding、kernel 优化、推理并行、MoE serving、长上下文与多模态推理
- 不覆盖：训练框架内部实现、模型算法本身的完整推导、与在线 serving 无关的离线批处理系统
阅读路径¶
| 路径 | 推荐节点 |
|---|---|
| 新人路径 | engine-architecture -> serving-infrastructure -> request-scheduling |
| 部署路径 | pd-disaggregation -> inference-parallelism -> moe-serving |
| 优化路径 | kernel-optimization -> speculative-decoding -> model-quantization |
| 场景路径 | long-context-serving -> multimodal-inference -> hardware-specific |
节点结构¶
引擎架构
- Engine Architecture
- Serving Infrastructure
分解服务与调度
- P/D Disaggregation
- Request Scheduling
加速技术
- Speculative Decoding
- Kernel Optimization
- Model Quantization
并行与扩展
- Inference Parallelism
- MoE Serving
场景扩展
- Long-context Serving
- Multimodal Inference
- Hardware-specific Optimization
跨域连接¶
推理系统与 KVCache 的连接最密：P/D 分离、prefix cache、KV offload 和 routing 会共同决定在线 serving 的成本结构。涉及硬件拓扑和超节点调度时，应同时阅读 Cluster；涉及 rollout、权重同步和 Agentic RL 时，应同时阅读 Training 与 Agents。