Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 00:20 同步状态:空闲 下次计划:2026-09-05 01:20

PR 列表

更多筛选
2026-05-11
重构 重要性 7.16 洞察度 5.00

集中 EagleDraftInput hidden_states 形状决策

建议精读该 PR,了解 SGLang speculative decoding 中 hidden_states 的形状决定逻辑,以及如何通过类方法实现单一真相来源的设计模式。同时为理解后续 PR(#21058 相关)提供基础。

缺陷修复 重要性 9.18 洞察度 6.00

修复LTX-2/2.3扩散模型多GPU精度对齐与HQ两阶段路径

建议所有使用LTX-2/2.3模型进行推理和CI测试的团队仔细阅读此PR。其中关于CFG引导分支合并、Attention Backend选择、RoPE精度控制的决策值得在其它扩散模型推理框架中借鉴。

缺陷修复 重要性 6.26 洞察度 6.00

修复 SANA 模型在 NPU 和 GPU 上的执行错误

建议精读,尤其是 Gemma2 注意力掩码的重构(从浮点到布尔)和 DPM scheduler 的参数规范化,这是跨后端的通用改进。GEGLU 融合算子的实现方式可作为其他激活函数 NPU 后端的参考。

#24540 [NPU] [Bugfix] Wan quantization fix

原始 PR · 作者 OrangeRedeng · 合并时间 2026-05-11 13:32

缺陷修复 重要性 7.57 洞察度 5.00

修复 Wan 模型在 NPU 上的量化方案识别

该 PR 修复了关键 regression,改动虽小但涉及核心量化配置路径,值得精读。设计上通过 reverse_param_names_mapping 解耦内部命名与规范命名的做法值得关注,可在未来支持更多量化模型时复用。

#24662 Breakable Cuda Graph Support for bs > 1

原始 PR · 作者 Oasis-Git · 合并时间 2026-05-11 13:28

功能 重要性 7.90 洞察度 6.00

支持 bs>1 的可中断 CUDA 图执行

值得精读。该 PR 体现了深刻的技术洞察:通过重新划定 CUDA 图捕获边界,使图与 batch size 解耦,是使图化预填充支持多请求的关键设计。代码改动简洁(仅 1 文件 +84/-57),但思路值得借鉴。建议关注后续改进 layer_model 解析的多模型兼容性和测试覆盖。

缺陷修复 重要性 4.53 洞察度 3.00

修复 CI 中 sgl-kernel-mla-test 路径错误

建议快速合并此 PR,因为它修复了阻塞所有 PR 的 CI 回归问题。同时值得关注的是优化路径过滤的设计决策:避免纯配置变更触发昂贵构建,这是一个良好的 CI 实践。

缺陷修复 重要性 5.12 洞察度 3.00

修复 Flashinfer A2A 调度中 padding slot 导致的 NaN

该 PR 为典型的单行关键 bugfix,推荐阅读以理解 A2A 调度中 padding slot sanitize 的必要性。设计上的教训是:新参数默认值应为安全值(如 -1),而不是跳过清理。值得关注的决策:通过修改 dispatch 调用而非修改 dispatcher 内部逻辑,保持了最小侵入性。

参与讨论