Briefs

AI Infra 早报｜长上下文推理撞上 32 位索引边界 2026-11-04
AI Infra 早报｜vLLM 修复负载升高时的显存增长 2026-11-03
AI Infra 早报｜vLLM 让在线模型直接接收新权重 2026-11-02
AI Infra 早报｜MoE 训练通信后端新增两条路径 2026-11-01
AI Infra 早报｜共享存储接入 SGLang KV cache 2026-10-31
AI Infra 早报｜llama.cpp 让量化 KV cache 直接进入 SYCL 注意力计算 2026-10-30
AI Infra 早报｜无 GDS 时，XPU 文件传输补上主机中转 2026-10-29
AI Infra 早报｜llama.cpp 按显存余量动态卸载模型 2026-10-28
AI Infra 早报｜MXFP4 MoE 量化减少专家索引开销 2026-10-27
AI Infra 早报｜SGLang 把稀疏注意力接入 NVFP4 KV 池 2026-10-26
AI Infra 早报｜vLLM 修正自适应验证的 KV cache 记账 2026-10-25
AI Infra 早报｜OpenClaw 把并发失败改成排队等待 2026-10-24
AI Infra 早报｜OpenCode 打通客户端托管工具接入 2026-10-23
AI Infra 早报｜DeepSpeed 把分布式词表概率计算收进 Triton kernel 2026-10-22
AI Infra 早报｜共享 L1 的协调层出现了 2026-10-21
AI Infra 早报｜共置 RL 开始管理显存轮换 2026-10-20
AI Infra 早报｜EP MoE checkpoint 开始明确布局边界 2026-10-19
AI Infra 早报｜vLLM 把前向 benchmark 拆到 kernel 级 2026-10-18
AI Infra 早报｜TokenSpeed 补齐 Beam 量化推理路径 2026-10-17
AI Infra 早报｜GPU 缓存怎样减少 MoE 专家重复搬运 2026-10-16
AI Infra 早报｜Megatron-LM 修复低精度重算状态丢失 2026-10-15
AI Infra 早报｜vLLM FP8 MoE 的准备工作被前移 2026-10-14
AI Infra 早报｜TensorRT-LLM 让分离式推理等待不再卡住调度 2026-10-13
AI Infra 早报｜TensorRT-LLM 接入外置 KV cache 2026-10-12
AI Infra 早报｜Agent 没准备好时，OpenClaw 让回复等一等 2026-10-11
AI Infra 早报｜llama.cpp 为 SYCL 后端加速 MXFP4 MoE 解码 2026-10-10
AI Infra 月报｜9 月：缓存命中之后，推理系统还缺什么 2026-10-09
AI Infra 早报｜TRL 训练打分省掉完整 logits 张量 2026-10-09
AI Infra 早报｜llama.cpp 让推测解码按概率验收草稿 2026-10-04
AI Infra 早报｜LMCache 让缓存事件与快照一起恢复 2026-09-30
AI Infra 早报｜外部 KV 命中如何进入调度预算 2026-09-29
AI Infra 早报｜vLLM 小 batch decode 融合路径怎么判断 2026-09-28
AI Infra 早报｜SGLang 调整 Mamba2 状态更新 kernel 2026-09-27
AI Infra 早报｜TRL v1.14 统一偏好训练的 log-prob 路径 2026-09-26
AI Infra 早报｜vLLM 把 JIT 预热放回容错路径 2026-09-25
AI Infra 早报｜LangGraph CLI 接入客户集群 listener 2026-09-24
AI Infra 早报｜Mooncake 补齐跨硬件 GPU-direct RDMA 能力边界 2026-09-23
AI Infra 早报｜TensorRT-LLM 为 NCCL-EP 0.2 保留回退路径 2026-09-22
AI Infra 早报｜vLLM 把 MoE 持久 workspace 改成跨层共享 2026-09-21
AI Infra 早报｜KV cache 按用途管理资源 2026-09-20
AI Infra 早报｜Kimi-K3 低精度推理走向专用执行链 2026-09-19
AI Infra 早报｜Stagehand 把任务完成与执行健康分开 2026-09-18
AI Infra 早报｜DeepSeek V4.1 重做 KV cache 路径 2026-09-17
AI Infra 早报｜Ray 按执行速率扩容 2026-09-16
AI Infra 早报｜gfx1250 补上 DeepSeek V4 与 Kimi3 内核 2026-09-15
AI Infra 早报｜SGLang 默认关闭 Responses 持久化 2026-09-14
AI Infra 早报｜LMCache 改变多进程 KV 交换前提 2026-09-13
AI Infra 早报｜LMCache 把 KV Cache 传输拆开计时 2026-09-12
AI Infra 早报｜vLLM v0.29.0 默认启用 Model Runner V2 2026-09-11
AI Infra 早报｜低比特 MoE 先改加载与通信 2026-09-10
AI Infra 早报｜Ray sandbox 把网络边界下沉到实例 2026-09-09
AI Infra 早报｜隐含约束正在变成执行契约 2026-09-08
AI Infra 早报｜基础设施边界正在变成执行契约 2026-09-07
AI Infra 早报｜资源边界正在成为系统设计的一等公民 2026-09-06
AI Infra 早报｜KV Cache 传输成为拓扑感知的数据平面 2026-09-05
AI Infra Brief｜PyTorch 2.14 让训练与推理底座开始合流 2026-09-04
AI Infra 早报｜新模型结构正在重置缓存、加载与 kernel 的默认假设 2026-09-04
AI Infra 早报｜跨边界运行时开始补齐恢复语义 2026-09-04
AI Infra 早报｜混合与稀疏模型双端生产化：训练端收编默认路径，解码端逐算子打磨 2026-09-03
AI Infra 月报｜8 月：混合状态重写缓存，RL 接管推理运行时 2026-09-02
AI Infra 早报｜KV 生命周期治理进入深水区：量化开始服务"移动中的 KV" 2026-09-02
AI Infra 早报｜KV 缓存层全线默认启用，基础设施进入“默认生产”期 2026-09-01
AI Infra 早报｜量化正确性长尾与显存治理的精细化 2026-08-31
AI Infra 早报｜Kimi-K3 混合线性注意力成为 serving 全栈新基准 2026-08-30
AI Infra 早报｜基建从能力竞赛走向工程化收敛 2026-08-29
AI Infra 早报｜专家权重走上 SSD，推理内存墙开始分级消化 2026-08-28
AI Infra 早报｜新模型 day-0 服务化竞赛与旗舰模型专项 release 化 2026-08-27
AI Infra 早报｜混合架构状态管理成推理新战场，Agent 正确性下移到语法层 2026-08-26
AI Infra 早报｜MoE 全链路正确性成为分水岭，训练与推理共享内核 2026-08-25
AI Infra 早报｜RL 权重同步拆掉 all-gather，调度面看见 token 水位 2026-08-24
AI Infra 早报｜缓存层进入"标准契约"时代 2026-08-23
AI Infra 早报｜混合注意力模型成为推理栈主战场 2026-08-22
AI Infra 早报｜共享专家并入主核，MoE 内核进入深度融合阶段 2026-08-21
AI Infra 早报｜混精度 checkpoint 契约上移，MoE 通信层在稳定性关口回滚 2026-08-20
AI Infra 早报｜内存成为新战场 2026-08-19
AI Infra 早报｜线性注意力全硬件落地，投机解码转入可验证正确性 2026-08-18
AI Infra 早报｜把到手的能力按硬件、按规模、按边界精耕到位 2026-08-17
AI Infra 早报｜新架构去特例化：推理栈定契约、训练栈转正 2026-08-16
AI Infra 早报｜KV/EP 数据面进入生产级硬化 2026-08-15
AI Infra 早报｜新模型倒逼推理栈工程收敛 2026-08-14
AI Infra 早报｜投机解码撞上性能兑现墙 2026-08-13
AI Infra 早报｜FP8 正确性与 AMD 推理栈的系统化硬化 2026-08-12
AI Infra 早报｜K3 双版本发布，生产硬化才刚刚开始 2026-08-11
AI Infra 早报｜MoE 生产正确性的系统化暴露 2026-08-10
AI Infra 早报｜K3 全栈适配、MoE 量化标准化与 Agent 执行环境沙箱化 2026-08-09
AI Infra 早报｜投机解码正确性工程与分离式推理生产硬化 2026-08-08
AI Infra 早报｜扩散模型推理成为一级工作负载，FP4 与 MoE 基建同频演进 2026-08-07
AI Infra 早报｜KV Cache 集群化协调与 MoE 硬件民主化 2026-08-06
AI Infra 早报｜Kimi K3 触发多引擎 correctness engineering 竞赛 2026-08-05
AI Infra 早报｜MTP 跨模型普及、AMD 全链路打通、EP 通信多后端收敛 2026-08-04
AI Infra 早报｜MoE 工程债集中到期，Agent 工具调用成为推理引擎一等公民 2026-08-03
AI Infra 早报｜KV Cache 升格为独立基础设施层 2026-08-02
AI Infra 早报｜K3 多引擎适配暴露的工程正确性危机 2026-08-01
AI Infra 月报｜7 月：默认路径竞争开始，KV Cache 长出 SLA 2026-07-31
AI Infra 早报｜推理引擎系统软件化：Rust 服务层与 Kernel 专用化 2026-07-31
AI Infra 早报｜Hybrid 模型成为新常态，Infra 栈同步改写底层假设 2026-07-30
AI Infra 早报｜从"能跑"到"跑得对"，协议稳定化与引擎验证的工程转折 2026-07-29
AI Infra 早报｜推理引擎模型家族化、训练并行可组合、Agent 生产级收敛 2026-07-28
AI Infra 早报｜KV Cache P2P 共享、MoE 格式收敛与 Agent 训练闭环 2026-07-27
AI Infra 早报｜推理引擎双版本竞赛，SSM 解码与 MoE 自愈同日落地 2026-07-26
AI Infra 早报｜KV Cache 平台化与 MoE 推理专用化的双向分化 2026-07-25
AI Infra 早报｜推理基础设施的生产硬化转折点 2026-07-24
AI Infra 早报｜模型架构正在反向决定推理引擎的技术路线 2026-07-23
AI Infra 早报｜RLHF 训练生产化与 MoE 推理多维扩张 2026-07-22
AI Infra 早报｜KV 格式假设与蒸馏训练的原语同时断裂 2026-07-21
AI Infra 早报｜投机解码生产化与推理引擎格局重组 2026-07-20
WAIC 2026｜能力展示走向可验证交付 2026-07-19
AI Infra 早报｜新负载正在重写训练与推理底座最老的默认假设 2026-07-19
WAIC 2026｜规模数字上台，闭环开始接受追问 2026-07-18
AI Infra 早报｜DeepSeek-V4 全栈落地：新架构原语的多引擎路径分叉 2026-07-18
WAIC 2026｜AI 竞争进入系统闭环验证期 2026-07-17
AI Infra 早报｜Inkling 多引擎同发与 AutoDeploy 退场：模型 bringup 竞争的路线抉择 2026-07-17
AI Infra 早报｜MXFP4 成为多硬件量化共识，MoE 负载均衡进入硬约束时代 2026-07-16
AI Infra 早报｜推理引擎的架构清理季 2026-07-15
AI Infra 早报｜CUDA graph 生产化的显存与正确性瓶颈 2026-07-14
AI Infra 早报｜推测解码集体生产化，KV cache 向统一 block 池重构 2026-07-13
AI Infra 早报｜vLLM v0.25.0 换主干，推理栈集体补生产化边角 2026-07-12
AI Infra 早报｜DeepSeek-V4 从"能跑"走向"能稳定跑、能便宜跑、能跨硬件跑" 2026-07-11
AI Infra 早报｜训练基础设施正在吸收前沿模型架构 2026-07-10
AI Infra 早报｜投机解码泛化与稀疏注意力下沉 2026-07-09
AI Infra 早报｜KV/传输层正在长成一套分布式存储 2026-07-08
AI Infra 早报｜把规模化以后的坑填上 2026-07-07
AI Infra 早报｜MoE 路由统一、扩散模型生产化与训练推理量化同步 2026-07-06
AI Infra 早报｜预量化模型分发与 DeepSeek V4 的引擎定制驱动 2026-07-05
AI Infra 早报｜系统性工程化：从演示能跑到生产可靠 2026-07-04
AI Infra 月报｜6 月：KV Cache 升维为独立基建层，工程化全面收敛 2026-07-03
AI Infra 早报｜vLLM V2 代际切换：MRV2 默认启用，PagedAttention 退役 2026-07-03
AI Infra 早报｜DSA 跨引擎共振：稀疏注意力进入省算力阶段，MX 量化接受精度验收 2026-07-02
AI Infra 早报｜MoE 通信容错、KV Cache 基建化与 Agent 安全收紧 2026-07-01
AI Infra 早报｜DeepSeek-V4 同日登陆三大引擎，量化进入精度校正阶段 2026-06-30
AI Infra 早报｜推测解码全栈覆盖，MoE 通信拓扑集体手术 2026-06-29
AI Infra 早报｜DSA 推理全面提速，sub-8-bit 量化进入行业共识 2026-06-28
AI Infra 早报｜RLHF 工业化拐点与 MoE 低精度量化共识 2026-06-27
AI Infra 早报｜推测解码的成年礼 2026-06-26
AI Infra 早报｜DSv4 推理全栈就绪、MoE 正确性收敛、引擎精细化 2026-06-25
AI Infra 早报｜KV Cache 的系统化时刻：从本地加速技巧到分布式存储原语 2026-06-24
AI Infra 早报｜基础设施从"功能驱动"转入"正确性驱动"阶段 2026-06-23
AI Infra 早报｜投机解码 EAGLE3 拐点与 KV 卸载运维化 2026-06-22
AI Infra 早报｜AMD 推理栈从兼容移植进入性能调优深水区 2026-06-21
AI Infra 早报｜MoE 多精度分化、Agent 内置化与推理引擎架构收束 2026-06-20
AI Infra 早报｜基础设施补课：缓存、量化与训练链路同期定型 2026-06-19
AI Infra 早报｜DeepSeek V4 生态冲刺与 KV Cache 架构定版 2026-06-18
AI Infra 早报｜推理与训练基础设施的抽象层级集体跃迁 2026-06-17
AI Infra Brief｜AMD 把 DRAM 稀缺变成系统竞争 2026-06-16
AI Infra 早报｜生产确定性：从"差不多就行"到"必须算对" 2026-06-16
AI Infra 早报｜Agent 框架进入可靠性收敛期，量化 MoE 跨硬件矩阵成型 2026-06-15
AI Infra 早报｜MoE 推理从"能跑"走向"工程就绪" 2026-06-14
AI Infra 早报｜从野蛮生长到工程收敛 2026-06-13
AI Infra 早报｜AMD 追赶前沿 MoE，P/D 分离可靠性补丁潮 2026-06-12
AI Infra 早报｜投机解码成为引擎标配，KV Cache 走向分层架构 2026-06-11
AI Infra Brief｜Megatron-LM 异构并行：通信网格层的第一步 2026-06-10
AI Infra 早报｜基础设施从功能堆叠转入可靠性竞争 2026-06-10
AI Infra 早报｜推理引擎的精细化竞赛 2026-06-09
AI Infra 早报｜DSV4 靶心效应与推理引擎安全网建设 2026-06-08
AI Infra 早报｜推理栈的产品化拐点 2026-06-07
AI Infra 早报｜KV Cache 向对象存储延伸，国产 GPU 进入 MoE EP 战场 2026-06-06
AI Infra 早报｜MoE 多硬件化、SSM 资源精算与 RL 训练加固 2026-06-05
AI Infra 早报｜推理基础设施进入"产品化"拐点 2026-06-04
AI Infra 早报｜GDN 架构拐点与推理引擎部署成熟 2026-06-03
AI Infra 早报｜Agent 运营化、精度跨代、框架收敛——同一个可靠性竞赛的三个战场 2026-06-02
AI Infra 早报｜KV Cache 三层进化：正确性验证、存储产品化、精度前沿并行推进 2026-06-01
AI Infra 早报｜量化在往下沉：从 API 支持到算子融合 2026-05-31
AI Infra 早报｜DSv4 生产硬化收束，KV Cache 量化与调度优化接棒 2026-05-30
AI Infra 早报｜推理栈的抽象升级：MLA 插件化、CuTe DSL 标配化与 KV Cache 策略表达 2026-05-29
AI Infra 早报｜DSv4 生产磨合期：四个框架同步修 bug，存储层从吞吐优先转向可恢复性 2026-05-28
AI Infra 早报｜推理栈的阶段切换：从功能交付到生产硬化 2026-05-27
AI Infra 早报｜NVFP4 跨框架共识与 MoE 推理系统化 2026-05-26
AI Infra 早报｜推理引擎在 Kernel Fusion 路径上系统性收敛，KV Cache 存储进入多级分层时代 2026-05-25
AI Infra 早报｜DeepSeek V4 进入多框架性能会战，投机解码可靠性拐点到来 2026-05-24
AI Infra 早报｜低精度训练全栈生产化与 MoE 推理工程深水区 2026-05-24
AI Infra 早报｜DeepSeek V4 进入多框架性能会战，投机解码可靠性拐点到来 2026-05-24
AI Infra 早报｜Agent 基础设施的系统性成熟信号 2026-05-24
AI Infra 早报｜KV Cache 运营化、MoE 多平台化、训练内存极致化 2026-05-24
AI Infra 早报｜从能跑到跑得稳 2026-05-24
AI Infra 早报｜训练与推理同步进入生产精细化阶段 2026-05-23
AI Infra 早报｜推理引擎架构加速多语言化，DeepSeek V4 精度全线收敛 2026-05-22
AI Infra 早报｜KV Cache 管理代际升级：从粗放到精细 2026-05-22
PDL 同日双线合入｜ AI Infra 日报 2026-05-21 2026-05-21
投机解码全线补齐，Megatron 非均匀 TP 合入｜AI Infra 日报 2026-05-20 2026-05-20
DeepSeek V4 进入默认优化阶段｜ AI Infra 日报 2026-05-19 2026-05-19
大版本消化期：编译器、传输层、调度器、训练通信的地基修补｜AI Infra 日报 2026-05-18 2026-05-18
KV 存储落磁盘、Blackwell MoE 路径公开｜ AI Infra 日报 2026-05-17 2026-05-17
AI Infra 早报｜vLLM v0.21.0 划定 C++20 硬门槛，DeepSeek V4 跨框架进入量产优化期 2026-05-15
AI Infra 早报｜量化配置从枚举走向可组合规格，NVFP4 跨框架同日就位 2026-05-14
AI Infra 早报｜KV Cache Offload 跨框架打通，推测解码升格为系统组件 2026-05-13
AI Infra 早报｜DeepSeek V4 推理全栈量产就绪，三大框架同日收口 2026-05-11
AI Infra 早报｜推理框架从"能跑"转向"跑得稳"：约束解码体系化、KV 缓存韧性、异构后端全覆盖 2026-05-10
AI Infra 早报｜TRT-LLM 全力冲刺 DeepSeek 推理产品线，Mooncake 引入语义级 KV 缓存管理 2026-05-09
AI Infra 早报｜推理框架三线并进量产准备——新模型、新硬件、核心架构同时收口 2026-05-08
AI Infra 早报｜推理框架的竞争点从"能跑新模型"转向"通用路径上跑稳" 2026-05-07
AI Infra 早报｜agentic 推理开始按用户体感重写引擎 2026-05-07
AI Infra 早报｜推理投产前的集中加固：TRT-LLM 砍 6s JIT 开销、Mooncake 五连补多节点故障、llama.cpp 算法级优化 2026-05-06
AI Infra 早报｜双版本日：DeepSeek V4 稳定化与硬件栈基线上移并排落地 2026-05-06
AI Infra 早报｜执行边界与缓存状态开始被写回主路径 2026-04-25
AI Infra 早报｜首包延迟、指标语义与兼容层正确性进入主路径 2026-04-24
AI Infra 早报｜生产边缘路径开始进入默认治理 2026-04-23
AI Infra 早报｜2026年4月22日 2026-04-22
AI Infra 早报｜推理快路径进入生产护栏期 2026-04-22
AI Infra 早报｜极端规模路径开始被收回默认主路径 2026-04-21
AI Infra 早报｜系统级数据路径开始压过单点算子优化 2026-04-20
AI Infra 早报｜缓存生命周期开始长出正式数据面 contract 2026-04-19
AI Infra 早报｜低比特与前缀复用开始进入默认主路径 2026-04-18
AI Infra 早报｜低比特与前缀复用开始进入默认主路径 2026-04-18
AI Infra 早报｜虚假优化路径开始被主动下线，租户与观测语义补进主干 2026-04-17
AI Infra 早报｜拓扑约束松绑与传输故障转移走向生产稳定 2026-04-16
AI Infra 早报｜隔离边界开始进入推理基础设施默认设计 2026-04-16
AI Infra 早报｜默认路径优化开始吞并服务面工程 2026-04-16
AI Infra 早报｜投机解码生产化遇阻，学术界仍在快速推进 2026-04-15
AI Infra 早报｜MoE 与 KV 数据面开始为真实生产负载补课 2026-04-15
AI Infra 早报｜推理框架补默认路径，Agent 平台收紧执行契约 2026-04-12
AI Infra 早报｜推理框架多维迭代深化，生产部署侧持续完善 2026-04-11
AI Infra 早报｜推理框架持续迭代，多模态与工具调用能力深化 2026-04-10
AI Infra 早报｜推理框架迭代深化，生产部署侧持续优化 2026-04-09
AI Infra 早报｜推理框架持续打磨，小幅改进为主 2026-04-08
AI Infra 早报｜推理框架密集迭代，多模态与分布式缓存持续深化 2026-04-07
AI Infra 早报｜推理框架夯实基础，Gemma 4 多模态浪潮启动 2026-04-04
AI Infra 早报｜Gemma 4 跨框架同步落地，Blackwell 推理默认路径加速收紧 2026-04-03
AI Infra 早报｜内核层提速与应用侧新版本，Blackwell 优化进入多项目协同阶段 2026-04-02
AI Infra 早报｜版本节点落地，基础设施向健壮性收拢 2026-04-01
AI Infra 早报｜安全补丁潮中的里程碑——TRL v1 正式发布，训练框架迎来新起点 2026-03-31
AI Infra 早报｜从边缘到数据中心，推理硬件路径全线提速 2026-03-30
AI Infra 早报｜MoE 弹性容错进入默认路径，推理栈可靠性演进加速 2026-03-29
AI Infra 早报｜安全补丁潮与推理链修复并进，基础设施正在为下一轮高速扩张筑底 2026-03-28
AI Infra 早报｜回滚即信号——CI 质量门拦截内核冒进，KV cache 底层同日三路扩张 2026-03-27
AI Infra 早报｜从实验到生产，LLM 服务路径全面进入工程化验收期 2026-03-26
AI Infra 早报｜推理框架向 B200 适配冲刺，TRT-LLM 一次性打包 Qwen3 全家桶 2026-03-25
AI Infra 早报｜扩散模型量化与 MoE LoRA 破题，KV cache 存储选项全面扩张 2026-03-25
AI Infra 早报｜安全补丁领衔，推理框架在稀疏注意力与 HA 存储上同步破题 2026-03-24
AI Infra 早报｜CUDA graph 向多卡边界延伸，推理引擎在并行与新硬件上同步补完 2026-03-23
AI Infra 早报｜投机采样进驻引擎主链路，KV 内存管理跨越抽象门槛 2026-03-20
AI Infra 早报｜推理框架向 MoE 大模型全面调优，KV 缓存链路多点收敛 2026-03-19
AI Infra 早报｜vLLM 将 Flashinfer 稀疏 MLA 立为默认后端，PD 解耦健壮性全线收紧 2026-03-18
AI Infra 早报｜OpenClaw 密集功能扩展，推理框架持续补齐执行路径细节 2026-03-18
NVIDIA GTC 2026 核心发布简报 2026-03-17
AI Infra 早报｜多框架密集支持 Mistral Small 4，Speculative Decoding 优化走向深水区 2026-03-17
AI Infra 早报｜Transformers FlashAttention4 正式启航，TRL VESPO 带来强化学习优化新范式 2026-03-16
AI Infra 早报｜主流项目聚焦边界场景稳定性优化，高并发与冷启动问题成为关注重点 2026-03-15
AI Infra 早报｜TensorRT-LLM 全面拥抱 Blackwell，推理部署进入“全栈可配”新阶段 2026-03-14
AI Infra 早报｜量化精度落地进入“可用”阶段，推理效率优化持续加速 2026-03-13

本页通常由 JavaScript 渲染；当前为无脚本回退视图，以上为文章列表。