集中 EagleDraftInput hidden_states 形状决策
建议精读该 PR,了解 SGLang speculative decoding 中 hidden_states 的形状决定逻辑,以及如何通过类方法实现单一真相来源的设计模式。同时为理解后续 PR(#21058 相关)提供基础。
SGLang is a high-performance serving framework for large language models and multimodal models.
集中 EagleDraftInput hidden_states 形状决策
建议精读该 PR,了解 SGLang speculative decoding 中 hidden_states 的形状决定逻辑,以及如何通过类方法实现单一真相来源的设计模式。同时为理解后续 PR(#21058 相关)提供基础。
修复LTX-2/2.3扩散模型多GPU精度对齐与HQ两阶段路径
建议所有使用LTX-2/2.3模型进行推理和CI测试的团队仔细阅读此PR。其中关于CFG引导分支合并、Attention Backend选择、RoPE精度控制的决策值得在其它扩散模型推理框架中借鉴。
修复 SANA 模型在 NPU 和 GPU 上的执行错误
建议精读,尤其是 Gemma2 注意力掩码的重构(从浮点到布尔)和 DPM scheduler 的参数规范化,这是跨后端的通用改进。GEGLU 融合算子的实现方式可作为其他激活函数 NPU 后端的参考。
原始 PR · 作者 OrangeRedeng · 合并时间 2026-05-11 13:32
修复 Wan 模型在 NPU 上的量化方案识别
该 PR 修复了关键 regression,改动虽小但涉及核心量化配置路径,值得精读。设计上通过 reverse_param_names_mapping 解耦内部命名与规范命名的做法值得关注,可在未来支持更多量化模型时复用。
支持 bs>1 的可中断 CUDA 图执行
值得精读。该 PR 体现了深刻的技术洞察:通过重新划定 CUDA 图捕获边界,使图与 batch size 解耦,是使图化预填充支持多请求的关键设计。代码改动简洁(仅 1 文件 +84/-57),但思路值得借鉴。建议关注后续改进 layer_model 解析的多模型兼容性和测试覆盖。
原始 PR · 作者 TallMessiWu · 合并时间 2026-05-11 13:13
补充 Wan2.2 Ascend NPU MXFP8 量化文档
该 PR 为标准文档补充,适合所有使用 Ascend NPU 的 Diffusion 用户参考。源码层风险已由作者标注为不适用,无需额外关注。
修复 CI 中 sgl-kernel-mla-test 路径错误
建议快速合并此 PR,因为它修复了阻塞所有 PR 的 CI 回归问题。同时值得关注的是优化路径过滤的设计决策:避免纯配置变更触发昂贵构建,这是一个良好的 CI 实践。
原始 PR · 作者 minosfuture · 合并时间 2026-05-11 12:57
修复 Flashinfer A2A 调度中 padding slot 导致的 NaN
该 PR 为典型的单行关键 bugfix,推荐阅读以理解 A2A 调度中 padding slot sanitize 的必要性。设计上的教训是:新参数默认值应为安全值(如 -1),而不是跳过清理。值得关注的决策:通过修改 dispatch 调用而非修改 dispatcher 内部逻辑,保持了最小侵入性。
参与讨论