Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-04 00:39 同步状态:空闲 下次计划:2026-09-04 01:39

PR 列表

更多筛选
2026-06-25

#29111 [Bugfix] Fix Ministral3 init argument forwarding

原始 PR · 作者 BBuf · 合并时间 2026-06-25 18:26

缺陷修复 重要性 7.03 洞察度 5.00

修复 Ministral3 初始化参数传递问题

建议精读。该 PR 展示了子类继承父类时使用关键字参数传递的重要性,以及新参数 `start_layer` 在管线并行中的传递链路,值得作为继承的最佳实践范例。

#29261 [Docs] Fix broken links in cookbook

原始 PR · 作者 mmangkad · 合并时间 2026-06-25 17:31

文档 重要性 1.90 洞察度 1.00

修复 cookbook 中 3 个失效链接

无需精读。作为一个简单的文档链接修复 PR,不具有技术洞察价值。

缺陷修复 重要性 7.32 洞察度 5.00

修复 AMD HIP 路径 fused shared-expert 权重缩放错误

该 PR 值得精读,尤其是理解 MoE 推理中 routed_scaling_factor 如何在不同路径下被应用,以及如何通过单元测试固定契约。设计上明确限定修复范围,避免引入不必要的风险。对 AMD 后端维护者有直接参考价值。

测试 重要性 3.88 洞察度 2.00

为7个JIT内核测试增加AMD夜间CI注册

该PR是标准的测试基础设施扩展,无技术复杂性,不值得精读。但可作为参考案例:如何在保持CUDA注册的同时,为AMD平台添加并行测试覆盖,且不破坏现有CI。

性能优化 重要性 8.32 洞察度 6.00

融合共享专家追加与 DeepEP 重映射为单个 Triton 内核

本 PR 值得相关人员精读,特别是关注 AMD MoE 推理性能优化的工程师。其设计体现了“每层一次 Triton launch”的极致融合思路,且对数值一致性有严格验证(bit-identical 断言)。代码风格和 review 中提出的修改建议(如导入简化、异常代替 assert)可作为团队代码规范参考。建议在 AMD 生产环境充分测试后,考虑将 `SGLANG_MORI_NO_PAD_MASK` 默认开启以最大化性能。

功能 重要性 8.38 洞察度 6.00

融合QK归一化、RoPE与门控的Triton内核,提升Qwen3.5吞吐量

值得关注该PR中Triton内核融合的设计模式,特别是复用RoPE cos/sin cache的方式以及PDL的使用技巧。性能优化思路可推广至其他模型。

重构 重要性 7.12 洞察度 5.00

统一异构解码结果处理与 relay payload 控制

此 PR 展示了如何在不改变行为的前提下通过抽离公共方法和统一数据结构来降低复杂度,值得阅读。特别注意 `has_sampled_token_ids` 属性和 `_relay_forward_payload` 的设计。

参与讨论