Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 02:29 同步状态:空闲 下次计划:2026-09-05 03:29

PR 列表

更多筛选
2026-06-25

#28347 Revert Gemma4 modelopt fp4 MoE backend change

原始 PR · 作者 mmangkad · 合并时间 2026-06-25 10:49

缺陷修复 重要性 5.57 洞察度 3.00

回退 Gemma4 modelopt fp4 MoE 注意力后端默认值

该 PR 是配合上游修复的配置回归,变更简单直接,值得了解但对工程师学习价值有限。用于确认依赖修复完成后恢复默认配置的流程。

#29233 Sync backend docs with #29063

原始 PR · 作者 mmangkad · 合并时间 2026-06-25 10:48

文档 重要性 4.35 洞察度 1.00

同步 FlashInfer 融合后端文档与 #29063

该PR变更微小,不包含技术洞察,但值得作为“代码与文档同步”的参考实践。无需深度阅读。

重构 重要性 6.52 洞察度 3.00

合并分散的 DFlash Triton 内核到单一 dflash.py

值得精读以学习代码清理和消除重复的最佳实践。该 PR 展示了如何在不修改逻辑的前提下通过合并分散文件来提升可维护性。

#22659 Add sleep/wake support for diffusion engine

原始 PR · 作者 MikukuOvO · 合并时间 2026-06-25 09:37

功能 重要性 8.80 洞察度 5.00

为 diffusion 引擎添加 sleep/wake 支持,可释放 GPU 内存而不重启服务

值得精读其设计权衡,特别是 all-or-nothing 移动回滚机制和与 LayerwiseOffload 的交互。但若只是使用 diffusion 引擎,可快速阅读 API 文档即可。

缺陷修复 重要性 5.82 洞察度 4.00

修复 NPU 上 DeepSeek-V2-Coder MoE 路由精度

建议阅读 `fused_topk_npu` 函数中 `norm_type` 的计算方式,以及在 `deepseek_v2.py` 和 `llada2.py` 中 `scoring_func` 的透传方式,以理解 NPU MoE 门控的配置传递链路。对于 NNPU 后端维护者,建议后续为该逻辑添加单元测试。

功能 重要性 6.72 洞察度 5.00

在 NPU 上引入 FA3 算子支持确定性推理

建议对 NPU 确定性推理感兴趣的读者仔细阅读此 PR,尤其是 FA3 算子的集成方式和审查中的设计决策(延迟导入、语义简化)。该 PR 为 NPU 后端提供了可选的确定性推理能力,但需关注第三方依赖的稳定性。

重构 重要性 8.33 洞察度 5.00

溶解 EagleDraftInputV2Mixin,将 prepare_for_decode 转为自由函数

值得阅读。本 PR 展示了如何通过将行为从继承体系移到自由函数并显式分发来简化数据结构。设计思路明确:数据类只存数据,行为通过自由函数组织。对于需要扩展 spec 算法的开发者是良好的参考。

重构 重要性 7.00 洞察度 7.00

移除 Req.extend_logprob_start_len 字段,改为纯自由函数

PR 的设计权衡分析极具学习价值,建议涉及并发或重叠执行的工程师精读 PR 正文。合并后建议密切监控重叠调度场景下的日志概率正确性,并可考虑为 `compute_extend_logprob_start_len` 添加单测。

参与讨论