Cluster Infra Knowledge Index¶
本文件是 cluster-infra 域的全局索引,记录超节点、互连、数据移动、存储层与调度的经验知识。 LLM 写作/决策前首先读取本文件,定位相关节点后按需读取 insights/{node}.yaml。
知识体系状态¶
- 节点总数/有 Insights 的节点: 10/10
- Insight 总条目: 186(9 条 superseded,有效 177)
- high 条目: 1(supernode-topology-012)
- 上次结晶: 2026-09-15
- 覆盖文章数: 76
- 定位: 活跃飞轮(使用率 79%、引用率 78%、闭环率 28%)
节点索引¶
Insights 列为有效条目数(不含 superseded)。
硬件拓扑¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| supernode-topology | evaluate | 18 | 超节点验收看单一互联域而非物理卡数;开放路线已有 Helios 类混合标准量产样本,竞争边界扩到两级 scale-up 域与柜间光电系统;互联域须暴露为软件资源契约。 |
| hardware-generations | evaluate | 18 | 暂定:硬件代际价值来自芯片、软件成熟、互连域与可融资交付能力;训练/推理芯片已在设计组织层分叉,低精度峰值须同口径比较,国产数字须拆价格与份额贡献。 |
| heterogeneous-cluster | evaluate | 8 | 暂定:异构训练主瓶颈是调度与通信统一器,非均匀分配可逼近理论上界;多数框架的异构仅指模型/并行布局,缺 GPU 型号代价模型时节点可用不等于能力可比。 |
互连¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| scale-up-interconnect | evaluate | 52 | 暂定:竞争从峰值带宽转向 memory-semantic fabric 与互联定义权;四个设计轴而非四层栈,带宽须同口径(NVL72 跨域约 36 倍);层间交接负载对延迟比带宽更敏感。 |
| scale-out-network | evaluate | 15 | 暂定:scale-out 须区分 rail-aligned 主路径与跨 rail 旁路;QP 瓶颈在驱动而非协议,需求按场景分裂,网卡侧选 QP 可去掉 per-peer QP 但绑定专有软硬件栈。 |
数据与内存¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| data-movement | evaluate | 20 | 暂定:数据移动层已演进为语义/QoS/telemetry 感知的 runtime;超节点瓶颈越过裸带宽,落在编排模型、per-peer 连接状态与 verbs 提交路径的串行点上。 |
| memory-fabric | evaluate | 21 | 暂定:CXL 已有舰队级生产证据但仅限单机容量扩展与非 LLM 负载;KV tier 需交换式池化,可用性取决于软件放置、doorbell、分片并行与 deadline 内随机读延迟。 |
可靠性与调度¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| network-reliability | evaluate | 11 | 暂定:训练网络可靠性需端侧路径自愈、CCL live migration 与主机路由治理分层协同。 |
| rack-scale-scheduling | apply | 6 | 暂定:NVL72 级调度器分配通信域、共享内存与故障边界,NVLink domain 是不可分割的调度原子;功率时间曲线与逐层/逐请求通信频率正共同进入同一份资源契约。 |
耦合¶
| 节点 | Bloom | Insights | 当前核心立场 |
|---|---|---|---|
| compute-storage-coupling | apply | 8 | 暂定:计算与存储的信息壁垒是多轮 KV serving 主因;单向信息接通可将 miss rate 降 58-70%、延迟降 3.58x。 |
跨域热点¶
| 本域节点 | 交叉域 | 交叉节点 | 连接说明 |
|---|---|---|---|
| memory-fabric | kvcache | offload | CXL/HBM 直接影响 KV offload 的工程重心与延迟边界;Vistara 生产证据不可直接外推到 KV |
| rack-scale-scheduling | inference-system / kvcache | pd-disaggregation | 超节点调度需感知 Prefill/Decode 与 Attention/FFN 资源不对称 |
| supernode-topology | inference-system | inference-parallelism / hardware-specific | NVLink domain 边界决定 TP/EP/AFD 切分;GPU+LPU 异构机架改写放置单位 |
活跃矛盾¶
当前活跃矛盾 0 处。2026-09-15 结晶比对约 629 组(621 组同节点 + 8 组跨节点/跨域),新增 0 处;supernode-topology-012 经 Hot Chips 2026 独立复现升 high。详见 insights/contradictions.md。
知识缺口¶
Bloom ≤ remember 且 Insights 为 0 的节点(0 个)
- 国产 scale-up fabric 流量分级/QoS 仅厂商宣称无公开实测;InfiniteHBD/MixNet 的 OCS 收益多为仿真。
- CXL 交换式跨主机 KV 池仍无舰队级生产证据(Vistara 为单机扩展)。
- hardware-generations-004/005、supernode-topology-004(2026-03-17)将于 09-17 满 6 个月,需补验证或下轮标 stale。
待验证候选(再补 1 篇独立来源即可升 high → content-scout 高优先选题,8 条):
- data-movement-017 — CCCL Runtime 统一 device/stream/buffer/allocation 抽象
- data-movement-020 — 128B AllReduce 两 GPU speed-of-light 延迟下界
- hardware-generations-007 — TPU 代际价值扩展为芯片+ICI+OCS+DC 系统
- scale-out-network-008 — TPU 的 ICI/DCN 两级 scale-out 模型
- scale-up-interconnect-004 — UALink 1.0 每链路 800 Gb/s
- scale-up-interconnect-005 — NVLink Fusion 开放第三方接入
- scale-up-interconnect-023 — 开放 scale-up 标准与生产部署存在结构性落差
- scale-up-interconnect-043 — NVL72 跨域带宽落差同口径约 36 倍
本轮结晶记录(2026-09-15)¶
新增 20 条纳入 7 个节点;1 处升 high(supernode-topology-012)、0 处降级、0 条 stale(最早 2026-03-17 未满 6 个月);bloom 均维持;7 个节点 stance 重写,supernode-topology 获 high 支撑去掉「暂定:」;矛盾 0 新增;eval scenario-001 补答自评 good。