sgl-project/sglang

Qwen-Image 输出 bias 延迟融合，GB300 端到端提速约 6%

值得精读。三个设计点尤其值得关注：其一，能力门控 + 静默回退的窄 fast path 模式（`_can_defer_modelopt_output_bias` 将量化类型、算力、dtype、形状约束集中一处，回退路径与原实现语义完全一致）；其二，用原生 BF16 `__hfma` 保持舍入点语义的细节，这是 pin 到生产 `MulAdd` 逐位一致的工程狠活；其三，PR body 用 profiling 数据驱动优化决策（673 次 launch → 224 次可消除），度量方法本身可复用。建议阅读时把 `qwen_image.py` 的 `_bias_mul_add`/`_modulate` 与 `norm_scale_shift.cuh` 的 `bias_mul_add_kernel` 对照看，能完整理解融合路径与回退路径的切换逻辑。

统一池 MHA/SWA 改 dense 逐层视图，解锁非 Triton 后端前提

值得精读的架构级 PR。以下设计决策最有借鉴价值： 1. **原子切换的边界意识**：视图、id 空间与尺寸计算三者必须同批切换，任何中间态都会把一套 id 写进另一套视图的行——作者把这一不变量写进 commit message 并以此组织提交顺序。 2. **布局事实收敛到 spec**：`tail_pad`、`blocks_per_page` 均由 `SubPoolSpec` 派生，消除了

req_pool_idx 收进 ReqKvInfo，引入 is_held，纯重构

值得精读。它是“无行为变更的大范围结构重构”的范本，可学习三点：一是如何用静态字段删除实现 fail-fast 防遗漏；二是如何用两步 commit 分离“搬迁”与“语义替换”；三是如何用统一假对象（_FakeOwner）消解测试对内部字段的依赖。重点关注 ReqKvInfo 中 req_pool_idx、is_held、is_released、mark_released 四者之间的关系，以及 streaming_session.py 中 save/restore 因字段收敛而简化的写法。

修复 GLM MoE 路由过期：门控权重改存 FP32

值得精读。核心价值在于“消除重复状态”的设计决策：与其为 BF16 参数维护 FP32 影子缓存并不断补刷新钩子（weight_loader + post_direct_write），不如让单一 FP32 参数成为唯一事实来源，类型转换统一交给加载器。这一取舍对任何需要支持运行时权重热更新的模型实现都有借鉴意义；同时值得关注 WeightChecker 过滤契约的收紧会给 RL 链路带来的行为变化。

Qwen-Image CFG 双分支调制投影缓存，GB300 端到端提速约 5.8%

值得精读。核心看点：如何利用串行 CFG 的结构冗余安全地消除确定性重复计算——用张量身份 + 版本号而非数值比较做缓存键、命中即消费的单槽语义、以及 grad/compile/graph/流捕获四类守卫的显式枚举。测试用计数投影在无完整模型的情况下精确断言「第二次前向不重算」，是轻量级验证缓存语义的好范例。该模式可推广到其他带串行 CFG 的扩散 DiT（如 GLM-Image、Flux 系列）以及任何「同一步内多次前向共享 timestep 派生计算」的场景。

融合 Wan2.2 NVFP4 bias+GELU，GB300 去噪提速约 3%

值得精读。重点关注三点：一是 `bias_gelu_tanh_kernel` 如何通过 PDL 与 occupancy 限制在 memory-bound 场景下取得近 3 倍微基准加速；二是 `nvfp4_bias_gelu_site.py` 如何复用 `QualityGatedFusion` 实现请求级门控，避免影响 lossless 路径；三是测试设计，用 `torch.equal` 做 bit-exact 断言并覆盖非法 width/dtype 的拒绝行为，这种精度验证方式可用于其他融合 kernel。

修复 DSV4 与 FP8 测试的失效平台能力 patch，恢复 CI 保护

建议快速阅读（10 分钟内），无需精读生产代码。值得关注的设计决策：测试 patch 运行时 API 而非模块级实现细节，让测试断言真正约束生产行为；同时 PR body 对 stale patch 静默失效陷阱的说明值得团队学习。引申建议：可在 CI 或 lint 阶段增加对 `mock.patch`/`patch.object` 目标存在性的静态检查，或定期核查测试 patch 目标是否仍被生产代码引用，防止同类问题再次出现。