修复 Ministral3 初始化参数传递问题
建议精读。该 PR 展示了子类继承父类时使用关键字参数传递的重要性,以及新参数 `start_layer` 在管线并行中的传递链路,值得作为继承的最佳实践范例。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 Ministral3 初始化参数传递问题
建议精读。该 PR 展示了子类继承父类时使用关键字参数传递的重要性,以及新参数 `start_layer` 在管线并行中的传递链路,值得作为继承的最佳实践范例。
修复 cookbook 中 3 个失效链接
无需精读。作为一个简单的文档链接修复 PR,不具有技术洞察价值。
原始 PR · 作者 rbrugaro-amd · 合并时间 2026-06-25 16:56
修复 AMD HIP 路径 fused shared-expert 权重缩放错误
该 PR 值得精读,尤其是理解 MoE 推理中 routed_scaling_factor 如何在不同路径下被应用,以及如何通过单元测试固定契约。设计上明确限定修复范围,避免引入不必要的风险。对 AMD 后端维护者有直接参考价值。
原始 PR · 作者 michaelzhang-ai · 合并时间 2026-06-25 16:51
为7个JIT内核测试增加AMD夜间CI注册
该PR是标准的测试基础设施扩展,无技术复杂性,不值得精读。但可作为参考案例:如何在保持CUDA注册的同时,为AMD平台添加并行测试覆盖,且不破坏现有CI。
原始 PR · 作者 michaelzhang-ai · 合并时间 2026-06-25 16:50
为 AMD CI 注册 scripted-core 测试
该 PR 简单明确,变更安全,可快速合并。值得关注的是 CI 注册模式和 `est_time` 设定方法,对于后续 AMD 测试注册有参考价值。
原始 PR · 作者 rbrugaro-amd · 合并时间 2026-06-25 16:22
融合共享专家追加与 DeepEP 重映射为单个 Triton 内核
本 PR 值得相关人员精读,特别是关注 AMD MoE 推理性能优化的工程师。其设计体现了“每层一次 Triton launch”的极致融合思路,且对数值一致性有严格验证(bit-identical 断言)。代码风格和 review 中提出的修改建议(如导入简化、异常代替 assert)可作为团队代码规范参考。建议在 AMD 生产环境充分测试后,考虑将 `SGLANG_MORI_NO_PAD_MASK` 默认开启以最大化性能。
融合QK归一化、RoPE与门控的Triton内核,提升Qwen3.5吞吐量
值得关注该PR中Triton内核融合的设计模式,特别是复用RoPE cos/sin cache的方式以及PDL的使用技巧。性能优化思路可推广至其他模型。
统一异构解码结果处理与 relay payload 控制
此 PR 展示了如何在不改变行为的前提下通过抽离公共方法和统一数据结构来降低复杂度,值得阅读。特别注意 `has_sampled_token_ids` 属性和 `_relay_forward_payload` 的设计。
参与讨论