执行摘要

本周（2026年6月1日至6月7日）仓库共合入320个PR，其中24个为重点PR。整体变化主线聚焦于推理核心性能优化、Diffusion生态扩张、Cache架构重构与PD分离增强。ch-wan主导的注意力后端契约重构与CUDA Graph缓冲区统一标志着重构趋向收敛；Diffusion模块新增Ideogram4、LingBot World实时管道等多项模型支持；DeepSeek V4推理在FP4索引、PD传输、稀疏预填方面持续优化，TTFT显著降低。风险面集中在核心路径变更的回归风险和测试覆盖缺口，需重点关注。

本周重点变化

1. 推理核心：性能与可维护性并进

• 注意力后端重构：ch-wan 将 init_forward_metadata 拆分为三段 ABC 契约（#26735），消除 DS V4 长期依赖的 side channel，并统一 CUDA Graph 输入缓冲区管理（#26742, #27407）。这些重构简化了注意力初始化的正确性维护，但 DS V4 replay 路径仍存在未解决的正确性问题。
• 性能优化：FlashMLA KV 索引构建通过 page-block 并行化，长上下文延迟从 15us 降至 1-2us（#27320）；Gemma4 路由融合为单次 Triton Kernel，decode 吞吐提升 5.6%（#26502）；DeepGEMM 预热实现 PP 并行编译，启动时间减少约 60%（#26567）。
• Speculative Decoding：修复 EAGLE draft 在 topk>1 时的 CUDA Graph 内存越界（#27338），为 topk=1 添加快速路径（#26424），并重构 EAGLE 推断测试为共享 Fixture（#26871）。

2. Diffusion：从模型支持到实时全链路

• 新模型：新增 Ideogram4 NVFP4 原生支持（#27379）与张量并行（#27393）；支持 Command A Plus（#26106）和 Gemma4 Unified 多模态（#27167）。
• 实时推理：LingBot World 完整实时扩散管道（#26954）包括因果注意力、序列分片、WebSocket 接口；优化相机条件器缓存和传输层（#27297），延迟降低 10%。
• 性能优化：Cosmos3 融合 QK-norm+RoPE（#27096）加速 4 倍，去噪内存降低 7%（#26973）；WanVAE 解码输出 in-place clamp（#27086）等。
• WebUI：新增实时播放控制器（#27148）和超分辨率控件（#27026），用户体验改进。

3. DeepSeek V4 推理链路深度优化

• FP4 索引器（#26209）：可选启动，在 SM100 上端到端吞吐提升 1.08x，但精度下降风险需评估。
• PD 传输：HiSparse 直接主机传输（#24880）平均 TTFT 降 7-9%，引入 Mooncake 层优先布局。
• 稀疏预填：集成 flash_mla_sparse_fwd（#25418）替代 chunk prefill，内核加速 1.35x，但全量反量化开销待优化。
• 兼容性修复：修复 DP 注意力 + TP MoE 下的 reduce-scatter（#27191），Waterfill 与动态 EPLB 的兼容性（#27150）。

4. HiCache 与 PD 分解：缓存命中率与延迟改善

• decode 端预取：三层缓存（L1/L2/L3）集成（#26227），TTFT 平均降低 39.3%，P99 降低 51.9%，但 per-request all_reduce 可能成为瓶颈。
• draft KV 卸载：Mooncake 等后端支持 draft KV 零拷贝 offload（#24984），实现服务器重启后自动恢复。
• 乐观预填充（#26780）：预填充 worker 在 bootstrap 完成前开始计算，通过重试机制降低 TTFT。
• L3 存储扩展：SWA 和 DS V4 均支持 L3 存储（#26881），Mooncake 存储支持 layer-first 布局（#27454）。

5. 硬件平台支持扩展

• NVIDIA：SM120 Blackwell 桌面 GPU 通过 Triton 回退内核支持 DS V4 推理（#24692），MoE 和 FlashMLA 实现 Fusion。
• AMD：MI350X 在线 MXFP4 量化（#18005），AITER 自定义 all-gather 加速 TP 通信（#25093），DS V4 SWA 位置缓存（#26931）。
• Intel XPU：新增 Gemma 4 系列模型支持（#23280），融合 RoPE 内核（#25773）。
• NPU：自适应推测解码支持（#25644），Diffusion CI GT 生成（#24630），文档完善。

6. 测试与 CI 基础设施增强

• scripted-runtime 框架：新增调度器测试原语（#27411）、KV 池耗尽器（#27412）、分块预填充测试（#27413），为调度器复杂状态测试提供基础。
• 内存检查：异步断言探测默认在 CI 中启用（#27461），添加安静模式减少日志噪声（#27238）。
• CI 优化：分区窗口显示日期范围（#27457），GB300 测试套件（#27427），LM博客同步卡片（#27322）。

模块与主题趋势

• 推理核心重构：本周重构工作进入高潮，ch-wan 多 PR 逐步统一注意力后端的分散初始化。这一系列重构虽然短期引入回归风险，但长期将显著降低认知负担。其设计模式（ABC 契约、声明式注册表）值得团队推广。
• Diffusion 模块活跃度持续领先：从单模型支持扩展到实时推理、量化集成和 WebUI 全链路，mickqian 贡献大量代码。但 review 中遗留的正确性问题（如 #27379 的 fallback）暴露了快速迭代时的审查疏漏，建议加强对未采纳建议的追踪。
• HiCache 与 PD 功能密集演化：项目已进入多级缓存、多模型、多平台适配的复杂阶段。节点分裂数据丢失（#27072）、渲染竞态（#27285）等问题表明设计仍在打磨。后续建议建立回归测试套件。
• 硬件碎片化：AMD、NPU、XPU 贡献持续增加，但部分修复仅为临时绕过（如环境变量、硬编码路径），缺乏通用性，且 CI 覆盖不均衡，回归风险较高。
• Speculative Decoding 正确性仍是痛点：topk>1 与 CUDA Graph 结合的问题本月已多次回退，核心难点在于 KV indices 在捕获时的静态分配与动态 topk 之间的差距。本周的修复（#27338）是重要一步，但仍需更多边界测试。

风险观察

1. 核心路径变更的回归风险：ch-wan 系列重构改变了多个注意力后端和 CUDA Graph runner 的初始化流程，特别是 #26742 后 DS V4 replay 路径中 metadata 升级缺失尚未解决，可能影响 CUDA Graph 捕获与回放正确性。作者与 reviewer 达成共识可后续修复，但需列入跟踪。
2. 合并前问题未修复：Ideogram4 的 batch.preset 为 None 时无 fallback（#27379），Cosmos3 API 的客户端断连检查与 flow_shift 安全访问（#26926）等 review 建议未被采纳即合并，构成潜在生产隐患。
3. 测试覆盖严重不足：本周 48 个 PR 被标记“缺少测试覆盖”，新功能如 PD 乐观预填充、LingBot World 实时管道、Command A Plus 均无集成测试。仅依赖手动验证和 CI 基础配置，异常路径脆弱。
4. Speculative Decoding 波动：topk>1 的 CUDA Graph 越界问题已导致两次回退（#26981, #27138），当前修复条件为 page_size==1，其他配置可能仍未解决。
5. 硬件平台修复可移植性：AMD NPU 的部分修复（如 SGLANG_FORCE_GATE_MODE_INTERLEAVED、AITER_USE_CUSTOM_AG）依赖环境变量，缺乏自动化检测，可能在版本更新后失效。

重点 PR 速览

• #26735（重要性 9.4）：引入 3-method ABC 重构 init_forward_metadata，消除 DS V4 side channel，是注意力后端契约化里程碑。值得所有推理引擎开发人员了解。
• #26742（重要性 9.2）：统一 CUDA Graph runner 输入缓冲区到 CudaGraphBufferRegistry，消除手写填充/复制逻辑。设计模式可复用，但 DS V4 replay 正确性待补。
• #25418（重要性 9.2）：用 flash_mla_sparse_fwd 替代 DeepSeek V4 预填内核，实现 1.35x 加速并修复长序列 chunk prefill bug。全量反量化策略需后续优化。
• #26227（重要性 9.4）：decode 端 HiCache 三层缓存预取与 PD 增量传输，TTFT 降 39.3%。功能强大但 per-request all_reduce 是潜在瓶颈，建议关注批量优化。
• #27379（重要性 9.2）：Ideogram4 NVFP4 原生支持，包含 bitsandbytes 适配、Comfy 布局推断和量化线性层工厂模式。review 中遗留的 batch.preset fallback 问题需后续修复。
• #24692（重要性 9.2）：SM120 Blackwell 桌面 GPU 全面支持 DS V4 推理，通过 Triton 回退内核弥补缺失功能，是跨代兼容性工作的参考。
• #27297（重要性 9.2）：LingBot 实时传输延迟降低 10%，通过相机条件器缓存和 raw bytes 传输实现。性能优化范例，测试覆盖充分。
• #26954（重要性 9.4）：LingBot World 实时扩散管道合并，涵盖因果去噪、序列分片、WebUI 等，是 diffusion 模块实时化的重要一步。

后续建议

1. 尽快验证 DS V4 CUDA Graph 正确性：针对 #26742 遗留的 replay metadata 问题，建议安排专项测试，覆盖 DP/PP/PD 多种组合，确认无回归后关闭 issue。
2. 建立 review 建议跟踪机制：对于未在 merge 前修复的评论，可添加 followup 标签并在 PR 描述中明确后续计划，避免关键问题悬浮。
3. 补齐新功能测试：Priority 1 目标应为 PD 乐观预填充、LingBot World 实时管道、Command A Plus 等新功能编写至少一个端到端测试，并纳入 CI。
4. 评估 Spec Decoding topk>1 稳定性：在 page_size>1 配置下运行压力测试，考虑将 topk=1 设为默认以减少风险。
5. 监控硬件平台 CI 健康度：AMD/NPU/XPU 的 CI 通过率应作为项目质量指标，推动清理硬编码路径和临时环境变量，鼓励平台通用实现。