Readings
FlatCake：让 SSD 上的 KV Cache 真正用起来
2026-11-02
VLDA：机器人动手之前，需要想清楚什么？
2026-10-28
HyScale：百万 token 训练卡在了选 token 上
2026-10-27
推理速度，卡在算力之外：读 SemiAnalysis 的华为—DeepSeek 观察
2026-10-22
DeepInfer 读后：DeepSeek V4.1 Flash 如何组织计算、缓存与故障域
2026-10-20
Kimi K3 在 GB300 上的专用解码：23 次 Kernel 如何压到 13 次
2026-10-20
ByteExpress 论文阅读：RDMA 进了参数服务器，尾延迟还得靠软件管
2026-10-19
ETH：异构流水线训练，为什么只分层还不够
2026-10-19
KV Cache 存储的四种理解：重读 FMS 2026 的 CXL Panel
2026-10-12
GPT-6.1 Sol 缓存价格腰斩背后：OpenAI 如何改写 Prompt Caching 的成本结构？
2026-10-10
DGM 阅读：AI 怎样把自己的编程工具改得更好
2026-10-10
拓扑调度缺的不是一条规则：Topograph 如何把实时网络关系交给调度器
2026-09-27
机密推理的性能开销，究竟落在哪条数据路径？
2026-09-27
同一份 GGUF，两个运行时：Transformers 借用 ggml 内核后，边界怎样重画
2026-09-26
GPU 集群全绿，训练却跑不动：NVCRE 如何把“就绪”变成可验收的负载结果
2026-09-26
BOOST：让主机内存与 HBM 在同一轮解码中供带宽
2026-09-24
从更深到更宽：NVIDIA Spectrum-X Multiplane 为什么让网卡选网络
2026-09-23
4-bit KV 穿过容量阈值：从显存减半到缓存坍塌
2026-09-20
Ask the Tool, Don’t Guess：把工具进度接进 KV Cache 调度
2026-09-20
Decode 芯片经济学：F/B 之外，被迫购买的 F/S
2026-09-15
把 decode 的切割线推进注意力内部：SQD 与次二次注意力的异构分离
2026-09-14
llm-d 半年演进综述：推理引擎之上的分布式控制面已经成形
2026-09-13
CXL Engram：0.7 GB/s 为什么仍是一个难系统问题
2026-09-10
DeepSeek-V4.1-Flash 读后：把 KV cache 压到 890 字节之后，瓶颈换了个位置
2026-09-10
Anthropic 的经济情景模型：AI 增长之后，分配会如何变化
2026-09-10
vLLM x AgentX 读后：agentic 服务的优化对象从请求变成了会话
2026-09-09
AgentX 读后：agentic 推理把 CUDA 护城河从 kernel 挪到了会话状态
2026-09-09
Vistara：CXL 内存池的舰队级生产证据，边界卡在 KV cache 门口
2026-09-09
NVIDIA PAIR：把家庭设备变成请求级本地推理池
2026-09-04
UCIe 全景阅读：三代规范、三种封装，与一个尚未到来的 chiplet 市场
2026-09-03
RS-LPU：把推测解码重写成双权重流的存储与调度问题
2026-09-03
OpenAI Jalapeño：首代推理 ASIC 如何把通用性留给软件
2026-09-02
UBEP：超节点把 MoE 通信瓶颈从带宽推向同步与调度
2026-09-01
SMG 技术阅读：CPU 瓶颈出现后，前端应该从 GPU 主机拆出去
2026-09-01
TokTier 论文阅读：Prefix Cache 越有效，Tokenizer 越可能浮出水面
2026-09-01
SageServe 论文阅读：一千万条 Office 365 请求告诉我们什么
2026-09-01
Kairos：把 Decode 节点变成 Prefill 的负载感知溢流池
2026-08-27
AFlex：把 Attention 与 FFN 拆成两个调频域
2026-08-26
ExpertPlex：专家池跨阶段共享的前提，是把 GPU 抢占压到 25 微秒
2026-08-26
AFD 配比不能靠平均长度：随机负载如何决定 Attention/FFN 资源比
2026-08-26
FastAFD：1.4× 吞吐首先来自容量红利
2026-08-26
《Inference Engineering》之七｜让基准成绩穿过真实流量
2026-08-23
《Inference Engineering》之六｜多模态不是换个模型｜每种模态都要重写性能指标
2026-08-22
《Inference Engineering》之五｜卡数增加以后，通信与状态必须跟着拓扑走
2026-08-20
Cursor MoK：把 MoE 通信与计算塞进一个 Megakernel
2026-08-20
《Inference Engineering》之四｜单机加速的三笔账：精度、闲置计算与重复前缀
2026-08-19
《Inference Engineering》之三｜GPU 不是越新越好｜硬件、CUDA 与推理引擎如何配成一套系统
2026-08-19
SGLang 高级 CUDA Graph：把动态性收进可控边界
2026-08-18
vLLM AFD 小课堂：把 Attention–FFN 拆分变成可配置的批量系统
2026-08-18
《Inference Engineering》之二｜一个 Token 怎样生成，瓶颈就怎样出现
2026-08-18
《Inference Engineering》之一｜先定义产品约束，再谈系统加速
2026-08-17
AMD Helios 超节点：与 Vera Rubin NVL72 对标之后，竞争落到系统闭环
2026-08-03
投机解码进入动态预算时代：K 不再是模型常量
2026-07-30
Harness Handbook：Coding Agent 改代码前，先解决行为定位
2026-07-29
Kimi K3 Day-0 API：把模型跑起来，只过了第一关
2026-07-28
从 GPT-2 到 Kimi K3：模型记忆开始学会选择
2026-07-28
AFD 没有统一最优解：Attention–FFN 拆分的收益边界
2026-07-28
HyMCache｜把 CXL 混合内存从容量缓存改成 KV 流暂存器
2026-07-27
FlashRT｜Agent 优化系统部署，为什么先要一份可执行 IR
2026-07-27
vLLM AFD Plugin：把 MoE 的 Attention 与 FFN 拆成两套服务之后
2026-07-24
Rubin GPU：Agent 推理的四种等待，开始被写进硬件
2026-07-22
LLMCompass：用 4.1% 误差的硬件评估框架，重写 LLM 推理的性价比公式
2026-07-21
Meta 超级智能押注：输入斜率能否换来模型跃迁
2026-07-21
CXMT 逼近全球第四大 DRAM 厂：规模来自价格超级周期，良率与 HBM 差距仍是真实边界
2026-07-21
每个微秒都算数：GPU 集合通信如何逼近 1.404 μs 下界
2026-07-20
Kimi K3 的 16-of-896 稀疏 MoE：训练稳定性工程是升级了，还是换了个说法
2026-07-20
Kimi K3 换掉 MLA：混合线性注意力第一次在 2.8T 生产模型里站住了脚
2026-07-20
vLLM x TileRT：单用户 decode 速度成为一条独立产品线
2026-07-15
KV Cache 如何从推理缓存变成大模型记忆层
2026-07-13
NVIDIA Backstop：GPU 从设备采购变成信用扩张工具
2026-07-08
P-EAGLE 与 HyperDFlash：推测解码并行化的两条过河路线
2026-07-06
异构 P/D 推理的真正边界：算力、格式与 KV 所有权
2026-07-03
P/D 分离推理的失控点：Dynamo 路由博弈阅读
2026-07-03
SysOM-AI：训练性能诊断要先跨过 GPU 边界
2026-07-01
LongCat-2.0 的 LSA：把稀疏 attention 的随机读问题，堵在索引这一层
2026-07-01
SkillOpt：把 Agent Skill 当成可训练状态
2026-07-01
OpenURMA 论文阅读：把 RDMA 的 PCIe 往返改成片上总线访问
2026-06-30
DWDP 论文阅读：NVL72 上的远端专家权重并行
2026-06-30
Stephen Balaban 谈 GPU 算力神话：为什么 AI 计算从来不是大宗商品
2026-06-29
前沿实验室需要什么人？Vlad Feinberg 访谈中的预训练团队用人观
2026-06-29
开放权重模型进入工作负载分层时代
2026-06-29
DSpark：推测解码开始把验证预算交给调度器
2026-06-29
vLLM SAAR：Agent 路由开始记住会话，而不只看当前 prompt
2026-06-28
TokenDance：多 Agent 推理里，prefix caching 失效的那个边界
2026-06-28
Alibaba HPN：当 LLM 训练流量让 3 层 Clos 的假设失效
2026-06-27
阿里云 UPN512 白皮书阅读：Scale-up 从 AI Rack 走向单层光互连
2026-06-27
什么决定了 AI 搜索引擎引用你？252K 次配对实验的答案
2026-06-25
播客阅读笔记：一线从业者如何理解 GEO 这场搜索革命
2026-06-25
AI 搜索可见性的正确测量方式：不要只测一次
2026-06-25
MixNet：局部聚集性如何重构 MoE 训练的光电 Fabric
2026-06-24
InfiniteHBD：把 OCS 塞进收发器，以三分之一成本构建无限可扩展高带宽域
2026-06-24
芯片规律与 AI 浪潮：把半导体当成基础设施周期来读
2026-06-23
SDR-RDMA：跨数据中心 RDMA 的可靠性，开始从 ASIC 迁到软件层
2026-06-23
Virgo 与 TPU 8：Google 把 AI Hypercomputer 拆成两条互联路线
2026-06-23
Google Cross-Cloud Infrastructure：Agent 企业的基础设施重心在迁移
2026-06-22
LMetric 论文阅读：KV 命中和负载均衡可以只乘一下吗
2026-06-22
SAC：用 CXL 给稀疏注意力做一个只取 top-k 的分离式 KV Cache
2026-06-21
Anthropic 访谈阅读：安全公司如何解释自己的速度、权力与红线
2026-06-21
ScaNN：各向异性向量量化，让召回的 MIPS 检索把精度花在内积重要性上
2026-06-20
Persia：把同步和异步切在稀疏-稠密边界上，推荐训练扩到 100 万亿参数
2026-06-20
TorchRec 与 DLRM：推荐模型为什么必须混合并行，Meta 怎么切 TB 级 embedding 表
2026-06-20
字节 Monolith：无冲突 embedding 与实时训练，推荐系统基建的两个反共识选择
2026-06-20
FlashMemory-DeepSeek-V4：KV cache 从压缩问题，变成了预取问题
2026-06-16
R2CCL：当故障发生在 collective 内部，可靠性该交给谁
2026-06-16
CXL 内存池开始接 GPU Collective：从 KV 远端层到互连替代品
2026-06-16
训练容错正在分叉：分层 checkpoint 与免 checkpoint 恢复的边界
2026-06-16
RL Rollout-as-a-Service：Agentic RL 的训练边界正在外移
2026-06-16
LAER-MoE FSEP：把 MoE 专家并行从静态摆放改成训练时重布局
2026-06-16
Mooncake TENT RDMA QoS：传输层开始承接 SLO 语义
2026-06-15
Recursive 自动化 AI 研究系统：SOTA 背后的可验证循环
2026-06-12
罗福莉访谈阅读：Agent 时代的胜负手，不再只在模型参数
2026-06-11
姚顺宇访谈里的大模型训练判断：预训练、Coding 与集体主义
2026-06-11
排队论怎么进入 LLM 调度：从 M/G/1 到 KV cache 约束的开放问题
2026-06-11
Vime 把 vLLM Rollout 变成 RL 后训练主路径
2026-06-10
Lodestar：把 LLM 推理路由变成在线学习问题
2026-06-08
跨区域 KV 感知路由：GORGO 与 SkyWalker 补上同一张图
2026-06-08
RTP-LLM：Alibaba 推理引擎的生产控制面
2026-06-08
NCCL EP：MoE 通信从专用内核走向统一接口
2026-06-03
LLMServingSim 2.0：把异构硬件和分离式推理放进同一个模拟循环
2026-06-03
Conway 线索再读：Agent 平台正在从 Loop 走向常驻运行时
2026-06-02
MiMo V2.5 推理系统：Hybrid SWA 模型的 KV Cache 工程
2026-06-02
同一个 Token，五种物理形态：Tair + SGLang 为 DeepSeek V4 重建 KV 寻址层
2026-06-02
MiniMax M3 阅读：稀疏注意力开始为 Agent 工作流买单
2026-06-01
Claude Code 论文再读：Agent Loop 很小，真正的系统在 Loop 外面
2026-06-01
当 85% 的 prompt 没变，为什么每次 tool call 都要重新跑？
2026-05-28
推理引擎只管 GPU 是不够的——Agent 把 CPU 工具执行也绑进了延迟关键路径
2026-05-28
Helium：把 Agentic 工作流当查询计划来优化
2026-05-28
TriAxialKV：为什么 Agent 推理需要多轴 KV Cache 量化
2026-05-28
DualPath：当 agent 负载把 PD 分离架构的瓶颈从算力推到存储 I/O
2026-05-28
CONCUR：KV Cache 的 AIMD 时刻
2026-05-28
Agent 推理不是长上下文推理：cache 红利与驱逐临界点
2026-05-28
预测性多级 KV Cache 管理：57 倍的内存浪费与贝叶斯缓存预测
2026-05-28
同一个 batch size，三种能耗结局——多请求 LLM 工作流性能-能耗首次实测
2026-05-28
HexAGenT：当 Agent 把请求从单次调用变成在线 DAG，调度就得重写
2026-05-28
推理的 KV 逐出是一场灾难：这篇论文证明 CoT token 不该被销毁，只该搬家
2026-05-27
AgentOS 的提案：操作系统应该变成一台意图挖掘机
2026-05-27
渐进式披露：隐藏复杂性不是 UI 的事，是 AI 系统架构的事
2026-05-27
常青笔记的工程隐喻：重读 Andy Matuschak 的知识积累方法论
2026-05-27
LLM Wiki：让知识在会话外持续积累的 Wiki 范式
2026-05-27
Nurture-First：把 Agent 开发从工程问题变回知识问题
2026-05-27
当 SPMD 不再够用：HyperParallel 的超节点亲和性框架设计
2026-05-27
NVIDIA Dynamo 1.0：production-ready 的含义是把推理系统补成操作系统
2026-05-26
Rack-scale 调度：从数 GPU 到识别 NVLink domain
2026-05-26
NVIDIA NIXL：推理超节点里的数据移动层
2026-05-26
AIConfigurator：把 P/D 分离从经验调参带进模型化搜索
2026-05-26
xDeepServe：在 384 NPU 上把 MoE 推理拆成流水线
2026-05-26
Scale-Up 互连：AI 集群里最隐蔽的架构战场
2026-05-26
STATE-Bench：Agent Memory 终于开始用任务闭环来评测
2026-05-26
AlignedServe：把 Decode 调度推进到 Iteration 内部
2026-05-25
NVIDIA Dynamo 的 Agentic 推理架构：当 Harness 开始向推理引擎「显式传话」
2026-05-25
KV Cache 量化的两条岔路：极致压缩率与运行时安全保证
2026-05-25
连续批处理的异步化：CUDA Streams 三流水线消除 24% GPU 空转
2026-05-25
ContiguousKV：消除 KV Cache 剪枝与 I/O 的粒度错配
2026-05-24
CODA：把 Transformer Block 改写成 GEMM-Epilogue 程序
2026-05-24
CacheFlow：KV Cache 恢复的三维并行调度——从二选一到多维度分解
2026-05-24
Harness Engineering 的另一半：为什么 Agent 可靠性比能力更难工程化
2026-05-23
Tutti：SSD 做 KV Cache 的关键不在带宽，在控制面
2026-05-23
Tair-KVCache-HiSim：把 KV Cache 配置从试错变成仿真优化
2026-05-23
KVDrive 论文阅读：当 KV Cache 管理从算法问题变成系统问题
2026-05-23
HexiSeq：非对称调度下异构 GPU 集群的长上下文训练接近同构集群
2026-05-23
Harness Engineering：Agent 系统的工程重心正在从模型转向运行时
2026-05-23
DFlash 块扩散推测解码：当草稿阶段变成 O(1)，推测解码的瓶颈转移了
2026-05-23
Blackwell Ultra 上的推理瓶颈：vLLM 三模型优化实录
2026-05-22
PegaFlow：当 KV Cache 不再随进程生灭
2026-05-22
vLLM Elastic EP：MoE 推理的运行时弹性扩缩容
2026-05-22
GB300 NVL72 推理系统解析：三项硬件赌注与 SGLang 代码落地现状
2026-05-22
ZCube 把 PD 分离推理的网络瓶颈变成拓扑问题
2026-05-21
SkillsVote：Agent Skill 库的全生命周期治理
2026-05-20
Tessera：异构 GPU 的真正单位是 kernel
2026-05-20
Claude Agent Skills 企业治理：当 Prompt 开始需要安全审计和版本控制
2026-05-20
Agentic Skills：Agent 能力层开始拥有自己的软件工程问题
2026-05-20
TokenSpeed 初探：一个为 Agent 工作负载重新设计的推理引擎
2026-05-19
Bidaw：当计算引擎和存储系统终于开始互相看见
2026-05-19
HiSparse：稀疏注意力真正缺的那层内存系统
2026-05-18
昇腾 KV Pool 阅读：vLLM Ascend 如何把 Mooncake 接成硬件亲和的数据面
2026-05-17
NVFP4 KV Cache：存储用 4-bit，计算仍是 FP8
2026-05-16
ZeRO-Prefill 论文阅读：把 MoE 预填充的专家权重从静态参数变成调度资源
2026-05-14
Forcing-KV：把 LLM 的 KV cache 压缩思路搬进视频生成，值不值？
2026-05-14
Beluga：CXL 内存池为什么会改变 KV Cache Offload 的工程重心
2026-05-13
Attention Sink 的结构起点：从方差失衡到 Super Neuron
2026-05-11
LMSYS P2P 权重更新：把 RL Rollout 的停机窗口压到秒级
2026-05-09
多轮对话里的 Prefill 已经分化：PPD Disaggregation 的系统启示
2026-05-08
HACK 如何把 KV Cache 压缩推进到算子层
2026-05-08
vLLM x Mooncake Store：Agentic 推理为什么需要分布式 KV Cache 池
2026-05-07
SWE-Bench Pro：代码智能体的长周期工程门槛
2026-05-07
MRC 与 SRv6：OpenAI 如何把百 K GPU 训练网络做成端侧自愈系统
2026-05-07
从论文到实战：vLLM、SGLang、TRT-LLM 的 TurboQuant 集成路线图
2026-04-21
SCBench：用一个 KV 生命周期视角，重新理解长上下文方法
2026-04-21
LongBench v2：长上下文评测进入深理解与推理的新阶段
2026-04-21
理解 Prompt Caching：从 Claude Code 92% 缓存命中率案例说起
2026-04-20
主流 Attention 算法全景：从全连接到稀疏、线性与 KV 压缩
2026-04-20
主流 Attention 算法全景图：从 Softmax 到 MLA 的分类与对比
2026-04-20
Prefill-as-a-Service：LLM 推理的部署边界为何开始越过数据中心
2026-04-19
Claude Code 的设计哲学：当 98.4% 的代码是纯文本
2026-04-19
StreamWise 如何把多模态生成从离线流水线推到实时服务
2026-04-17
Event Tensor：为动态 Megakernel 设计一套编译器抽象
2026-04-16
上下文窗口是第一约束：OpenDev 终端代理的工程逻辑
2026-04-15
驾驭工程：LLM Agent 的认知环境设计
2026-04-15
Mooncake EP 如何把 MoE 的 Elastic EP 从论文概念变成工程能力
2026-04-14
LangChain 的 Harness 工程实践：从手工调优到可迭代的反馈系统
2026-04-07
RollArt：Agentic RL 训练系统，开始从资源拼装转向关键路径重构
2026-04-03
HierarchicalKV 论文解读：面向持续在线 Embedding 存储的 GPU 缓存语义哈希表
2026-04-03
Meta-Harness：当 LLM 学会优化自己的「外挂系统」
2026-04-01
谷歌 TurboQuant 详解：把大模型 KV Cache 压到 3 bit，为什么还能几乎不掉点？
2026-03-27
本页通常由 JavaScript 渲染；当前为无脚本回退视图，以上为文章列表。