Distributed Training Knowledge Index¶
本文件是 distributed-training 域的全局索引，记录分布式训练通信、并行策略、RL 基础设施与大规模训练系统的经验知识。 LLM 写作/决策前首先读取本文件，定位相关节点后按需读取 insights/{node}.yaml。
知识体系状态¶
- 节点总数: 11
- 有 Insights 的节点: 11
- Insight 总条目: 69
- high 条目: 2（collective-communication-001、rl-infrastructure-007）
- 上次结晶: 2026-09-15
- 覆盖文章数: 31
- 定位: 活跃飞轮（使用率 68%、引用率 55%、闭环率 16%）
节点索引¶
通信¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| collective-communication | apply | 13 | NCCL/RCCL 初始化即固化 rank 与通信图，是弹性与容错须绕开的硬约束；小消息瓶颈在同步步数与 barrier；就绪协议须落在硬件原子写范围内，EP 通信可按目的端 pull 统一编排。 |
分布式策略¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| training-parallelism | evaluate | 11 | 暂定：异构/跨 DC 训练按延迟分层，TP/CP/EP 留低延迟域、DP/PP 才能跨长链路；主流框架已能表达非均匀 PP 切分，但缺 GPU 类型代价模型与运行时重平衡。 |
| async-distributed | evaluate | 7 | 暂定：异步训练消除流水线气泡但引入 staleness；按任务特性（序列长度/agentic 程度/规模）三路选型。 |
| fault-tolerance-training | apply | 6 | 暂定：训练容错从 rank 重启扩展到 checkpoint-free 恢复、局部校验与 EP/DP 拓扑弹性重配置。 |
| sparse-moe-training-stability | understand | 2 | — |
训练基础设施¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| rl-infrastructure | evaluate | 7 | Agentic RL rollout 已从 trainer 内采样函数收敛为独立服务面（RaaS）：harness、trajectory、reward 与权重同步各自服务化并协同调度。 |
| weight-management | apply | 5 | 暂定：大 MoE RL 权重同步已成数据路径编排问题；RDMA P2P 仅在大模型/高 EP/多节点场景划算。 |
| correctness-verification | apply | 4 | 暂定：AI 系统软件测试以数值容差+golden reference 为基线，按单算子→融合 kernel→分布式冒烟三层递进。 |
规模与场景¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| large-scale-training | analyze | 7 | 暂定：跨数据中心训练必须按延迟分层；稳定 lossless 长链路可承载 DP/PP，但 TP/EP 仍留低延迟域。 |
| long-context-training | apply | 3 | 暂定：异构集群长上下文训练瓶颈在调度；HexiSeq 非对称 CP/HP 将异构差距压至同构 baseline 0.5%。 |
| multimodal-training | evaluate | 4 | 暂定：多模态瓶颈在跨模态 DAG 关键路径，实时生成须 deadline-aware 调度；训练切分单位正从整模型下沉到模块级，encoder 与 LLM 可用独立并行网格。 |
跨域热点¶
本域节点与其他域的已知交叉连接。
| 本域节点 | 交叉域 | 交叉节点 | 连接说明 |
|---|---|---|---|
| collective-communication | cluster-infra | scale-out-network / scale-up-interconnect | all-reduce 延迟由 RDMA/IB 链路决定；EP dispatch 的 pull/push 方向与 NVLink 双向利用率联动（scale-up-interconnect-055） |
| rl-infrastructure | agent-system | agentic-rl | Agentic RL rollout 引擎（RaaS）是 rl-infrastructure 的特化子集 |
| training-parallelism | cluster-infra / inference-system | heterogeneous-cluster / inference-parallelism | Megatron 类框架的"异构"只到模型与并行布局，GPU 类型异构仍靠调度器；训练与推理共享并行抽象 |
| large-scale-training | cluster-infra | network-reliability | 百K GPU 规模训练需网络自愈能力消化节点故障 |
| weight-management | inference-system | engine-architecture | P2P 权重更新使训练节点与推理节点共用参数池 |
| long-context-training | kvcache | prefix-cache | 长序列训练中 activation recomputation 与 KV cache 的边界需要联合优化 |
| sparse-moe-training-stability | inference-system | moe-serving | 训练时专家负载均衡强度决定推理侧是否还需运行时 EPLB |
活跃矛盾¶
2026-09-15 比对范围：新增 4 条逐条与所在节点既有 claim 比对约 36 组（collective-communication 23、training-parallelism 10、multimodal-training 3），另复核 3 组跨节点/跨域主题对（training-parallelism-011↔005/006、011↔cluster-infra:heterogeneous-cluster-008、collective-communication-012↔cluster-infra:scale-up-interconnect-055），均为限定或同源互补；write_log 新增条目
contradictions_found全空。合计约 39 组，新增矛盾 0。
当前活跃矛盾 0 处。
知识缺口¶
Bloom ≤ remember 且 Insights 为 0 的节点（0 个）；下列为已识别但尚未沉淀成条目的主题空白。
- 每瓦吞吐/能效写进异构策略自动寻优目标仍是开放空白（large-scale-training-006 标记）
- CP/HP 与 DP/TP/PP 五维联合异构调度未覆盖；long-context-training 自 2026-07 起零新增
- 开源训练框架缺 GPU 类型 profiler / 代价模型 / 运行时重平衡（training-parallelism-011 标记）
- sparse-moe-training-stability 仅 2 条（同一篇 K3 reading），不足以提炼暂定立场
待验证候选（verified_by 仅 1 篇，再补 1 篇独立来源即可升 high）：training-parallelism-008（异构 PP 的双重难点：层数非均匀分配 + micro-batch 时机调度）。
上次结晶记录¶
2026-09-15：距 07-22 新增 4 条；0 处升/降 high；0 条 stale（最早条目 2026-03-17，09-17 到期）；bloom 均维持；3 个节点 stance 重写；矛盾 0 新增；eval scenario-003 自评 acceptable。