sgl-project/sglang

修复RMSNorm残差路径忽略cast_x_before_out_mul标志

这是一个高质量 bugfix，修复了影响核心正确性的问题，且设计迭代清晰——从临时 fallback 到独立 kernel 再到合并到现有 kernel。值得精读：展示了如何在 CUDA kernel 中通过 `if constexpr` 实现多语义路径，以及如何平衡数值精度与性能。建议相关模型维护者关注黄金测试是否需要调整。

修复 FlashInfer SWA EXTEND-with-prefix 的正确性

建议精读。该 PR 精准定位并修复了一个在 SWA + 前缀缓存组合场景下的静默错误，涉及 FlashInfer 滑动窗口注意力的内部协作细节，对理解 FlashInfer 后端的多 wrapper merge_state 路径有较高参考价值。

为 TorchNativeAttnBackend 添加滑动窗口掩码支持

该 PR 修复了一个影响正确性的 bug，实现清晰且改动范围小，值得合并。建议关注后续的测试 PR，以确保滑动窗口掩码逻辑在各种情况下（如 prefix caching、PD 分离等）的正确性。

修复 ERNIE-4.5 在 NPU 上的 correction_bias 维度错误

该 PR 以最小改动修复了 NPU 上的阻塞问题，值得快速合并。但建议后续将 NPU 特定逻辑收敛到公共组件（如 TopK 层或 NPU 后端），避免模型定义中重复硬件判断。RoPE 风格的修复为重要安全措施，已通过 review 确认。

修复MLA吸收路径在分段CUDA图中因key/value为None崩溃

值得精读，特别是理解分段 CUDA 图（PCG/BCG）与 MLA 吸收路径的交互。设计上保持与非分段路径的兼容性，但缺少单元测试验证是一个风险。

修复FlexAttention掩码方法因绑定self导致跟踪崩溃

值得合入，属于低风险高质量修复。建议读者关注 `@staticmethod` 在避免意外闭包捕获方面的设计模式。

修复 FlashAttention DRAFT_EXTEND_V2 缓存范围错误

值得精读。该 PR 展示了注意力后端中缓存范围元数据的精细语义差异，特别是 DRAFT_EXTEND_V2 中 seq_lens 与有效缓存长度不一致时的正确处理方式。设计决策如 per-request 求和取最大值而非简单双 max 求和，体现了对偏斜分布的考量，值得在其他注意力后端实现中参考。

修复 FlashInfer SWA/交叉注意力路径遗漏 deterministic 参数

建议合并。该 PR 修复了一个隐蔽的确定性保证缺陷，改动量小，风险低，且作者已通过内部 SWA 模型验证了修复效果。