跳转至

Cluster Infra Knowledge Index

本文件是 cluster-infra 域的全局索引,记录超节点、互连、数据移动、存储层与调度的经验知识。 LLM 写作/决策前首先读取本文件,定位相关节点后按需读取 insights/{node}.yaml。

知识体系状态

  • 节点总数/有 Insights 的节点: 10/10
  • Insight 总条目: 186(9 条 superseded,有效 177)
  • high 条目: 1(supernode-topology-012)
  • 上次结晶: 2026-09-15
  • 覆盖文章数: 76
  • 定位: 活跃飞轮(使用率 79%、引用率 78%、闭环率 28%)

节点索引

Insights 列为有效条目数(不含 superseded)。

硬件拓扑

节点 Bloom Insights 当前核心立场
supernode-topology evaluate 18 超节点验收看单一互联域而非物理卡数;开放路线已有 Helios 类混合标准量产样本,竞争边界扩到两级 scale-up 域与柜间光电系统;互联域须暴露为软件资源契约。
hardware-generations evaluate 18 暂定:硬件代际价值来自芯片、软件成熟、互连域与可融资交付能力;训练/推理芯片已在设计组织层分叉,低精度峰值须同口径比较,国产数字须拆价格与份额贡献。
heterogeneous-cluster evaluate 8 暂定:异构训练主瓶颈是调度与通信统一器,非均匀分配可逼近理论上界;多数框架的异构仅指模型/并行布局,缺 GPU 型号代价模型时节点可用不等于能力可比。

互连

节点 Bloom Insights 当前核心立场
scale-up-interconnect evaluate 52 暂定:竞争从峰值带宽转向 memory-semantic fabric 与互联定义权;四个设计轴而非四层栈,带宽须同口径(NVL72 跨域约 36 倍);层间交接负载对延迟比带宽更敏感。
scale-out-network evaluate 15 暂定:scale-out 须区分 rail-aligned 主路径与跨 rail 旁路;QP 瓶颈在驱动而非协议,需求按场景分裂,网卡侧选 QP 可去掉 per-peer QP 但绑定专有软硬件栈。

数据与内存

节点 Bloom Insights 当前核心立场
data-movement evaluate 20 暂定:数据移动层已演进为语义/QoS/telemetry 感知的 runtime;超节点瓶颈越过裸带宽,落在编排模型、per-peer 连接状态与 verbs 提交路径的串行点上。
memory-fabric evaluate 21 暂定:CXL 已有舰队级生产证据但仅限单机容量扩展与非 LLM 负载;KV tier 需交换式池化,可用性取决于软件放置、doorbell、分片并行与 deadline 内随机读延迟。

可靠性与调度

节点 Bloom Insights 当前核心立场
network-reliability evaluate 11 暂定:训练网络可靠性需端侧路径自愈、CCL live migration 与主机路由治理分层协同。
rack-scale-scheduling apply 6 暂定:NVL72 级调度器分配通信域、共享内存与故障边界,NVLink domain 是不可分割的调度原子;功率时间曲线与逐层/逐请求通信频率正共同进入同一份资源契约。

耦合

节点 Bloom Insights 当前核心立场
compute-storage-coupling apply 8 暂定:计算与存储的信息壁垒是多轮 KV serving 主因;单向信息接通可将 miss rate 降 58-70%、延迟降 3.58x。

跨域热点

本域节点 交叉域 交叉节点 连接说明
memory-fabric kvcache offload CXL/HBM 直接影响 KV offload 的工程重心与延迟边界;Vistara 生产证据不可直接外推到 KV
rack-scale-scheduling inference-system / kvcache pd-disaggregation 超节点调度需感知 Prefill/Decode 与 Attention/FFN 资源不对称
supernode-topology inference-system inference-parallelism / hardware-specific NVLink domain 边界决定 TP/EP/AFD 切分;GPU+LPU 异构机架改写放置单位

活跃矛盾

当前活跃矛盾 0 处。2026-09-15 结晶比对约 629 组(621 组同节点 + 8 组跨节点/跨域),新增 0 处;supernode-topology-012 经 Hot Chips 2026 独立复现升 high。详见 insights/contradictions.md。

知识缺口

Bloom ≤ remember 且 Insights 为 0 的节点(0 个)

  • 国产 scale-up fabric 流量分级/QoS 仅厂商宣称无公开实测;InfiniteHBD/MixNet 的 OCS 收益多为仿真。
  • CXL 交换式跨主机 KV 池仍无舰队级生产证据(Vistara 为单机扩展)。
  • hardware-generations-004/005、supernode-topology-004(2026-03-17)将于 09-17 满 6 个月,需补验证或下轮标 stale。

待验证候选(再补 1 篇独立来源即可升 high → content-scout 高优先选题,8 条):

  • data-movement-017 — CCCL Runtime 统一 device/stream/buffer/allocation 抽象
  • data-movement-020 — 128B AllReduce 两 GPU speed-of-light 延迟下界
  • hardware-generations-007 — TPU 代际价值扩展为芯片+ICI+OCS+DC 系统
  • scale-out-network-008 — TPU 的 ICI/DCN 两级 scale-out 模型
  • scale-up-interconnect-004 — UALink 1.0 每链路 800 Gb/s
  • scale-up-interconnect-005 — NVLink Fusion 开放第三方接入
  • scale-up-interconnect-023 — 开放 scale-up 标准与生产部署存在结构性落差
  • scale-up-interconnect-043 — NVL72 跨域带宽落差同口径约 36 倍

本轮结晶记录(2026-09-15)

新增 20 条纳入 7 个节点;1 处升 high(supernode-topology-012)、0 处降级、0 条 stale(最早 2026-03-17 未满 6 个月);bloom 均维持;7 个节点 stance 重写,supernode-topology 获 high 支撑去掉「暂定:」;矛盾 0 新增;eval scenario-001 补答自评 good。