Training 综述¶
Training 板块沉淀大规模分布式训练与 RL 基础设施的系统经验：collective communication、训练并行、异步分布式、容错、rollout 基础设施、权重管理、长上下文训练和多模态训练。
本板块的核心视角是：训练系统的瓶颈正在从单个阶段的吞吐优化，转向多阶段关键路径协同。数据生成、rollout、reward、参数更新、权重同步、checkpoint 和故障恢复之间的耦合，决定了端到端训练效率和可恢复性。
范围与非范围¶
- 覆盖：collective communication、训练并行、异步训练、训练容错、RL infrastructure、权重同步、大规模训练、长上下文训练、多模态训练
- 不覆盖：纯算法论文推导、单机 fine-tuning 教程、与分布式系统无关的模型训练技巧
阅读路径¶
| 路径 | 推荐节点 |
|---|---|
| 新人路径 | collective-communication -> training-parallelism -> large-scale-training |
| RL 路径 | rl-infrastructure -> weight-management -> async-distributed |
| 可靠性路径 | fault-tolerance-training -> collective-communication -> weight-management |
| 场景路径 | long-context-training -> multimodal-training -> large-scale-training |
节点结构¶
通信
- Collective Communication
分布式策略
- Training Parallelism
- Async Distributed
- Fault Tolerance Training
训练基础设施
- RL Infrastructure
- Weight Management
规模与场景
- Large-scale Training
- Long-context Training
- Multimodal Training
跨域连接¶
Training 与 Cluster 共享网络和硬件约束，与 Inference 共享并行抽象、权重流转和 rollout serving 路径。Agentic RL 相关材料还需要同时阅读 Agents，因为任务状态、工具调用和评估方式会改变 rollout 系统的设计。