Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-06-13 17:27 同步状态:空闲 下次计划:2026-06-13 18:27

PR 列表

更多筛选
2026-05-20

#25814 Update GLM-5 H200 FP8

原始 PR · 作者 faradawn · 合并时间 2026-05-20 14:44

其他 重要性 3.67 洞察度 2.00

GLM-5 部署脚本启用 flashinfer allreduce fusion

值得关注的是文档和交互组件与真实部署配置的一致性维护方式。后续类似硬件配置优化可参考此模式。

MiMo-V2.5 cookbook 填充 B200 基准测试并启用 Blackwell 多层 EAGLE

建议 MiMo-V2.5 用户阅读此 cookbook 获取 B200 性能数据和多层 EAGLE 配置说明。文档展示了多 EAGLE 层接受率的实际影响,对性能调优有参考价值。

性能优化 重要性 9.18 洞察度 7.00

SM90 FP8 GEMM 引入 swap-AB 调度,小 batch 解码加速 1.16x

建议精读,特别是 fp8_gemm_sm90_dispatch.cuh 中基于 M/N 的分桶策略、swap-AB 的模板化实现以及 epilogue 的广播抽象。该 PR 展示了如何通过 CUTLASS 3.x EVT 灵活组合高效 GEMM 变体,对于未来 sgl-kernel 支持的优化有参考价值。

重构 重要性 6.91 洞察度 5.50

通过构造函数传递 PP start_layer 以解耦 ForwardBatch

该 PR 是典型的接口清洁重构,值得精读。展示了如何分步将静态配置从运行时对象剥离,并且带测试覆盖和连带 bug 修复。设计决策(使用构造函数参数而非全局单例或上下文)值得借鉴。

其他 重要性 6.81 洞察度 2.00

回滚 #25483,恢复 Wan2.2 ModelOpt 检查点为旧版 lmsys 路径

该 revert 保证主线稳定性,应被接受。建议后续: - 分析原 PR 的 CI 失败原因(可能是环境变量或权重版本不匹配)。 - 若需要重新引入,应先在分支上充分验证。 - 文档和示例应尽快更新,避免用户使用已回滚的路径。

缺陷修复 重要性 6.60 洞察度 6.00

延迟 MTP 权重过滤修复 OOM 挂起

值得精读的 bugfix 典范:一行的逻辑错误(tuple 强制物化)导致整个系统在特定配置下不可用,修复后效果显著。代码改动虽小,但不熟悉迭代器模型的人容易犯同样错误。

参与讨论