Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-06-07 12:34 同步状态:空闲 下次计划:2026-06-07 13:34

PR 列表

更多筛选
2026-05-20
性能优化 重要性 9.18 洞察度 7.00

SM90 FP8 GEMM 引入 swap-AB 调度,小 batch 解码加速 1.16x

建议精读,特别是 fp8_gemm_sm90_dispatch.cuh 中基于 M/N 的分桶策略、swap-AB 的模板化实现以及 epilogue 的广播抽象。该 PR 展示了如何通过 CUTLASS 3.x EVT 灵活组合高效 GEMM 变体,对于未来 sgl-kernel 支持的优化有参考价值。

重构 重要性 6.91 洞察度 5.50

通过构造函数传递 PP start_layer 以解耦 ForwardBatch

该 PR 是典型的接口清洁重构,值得精读。展示了如何分步将静态配置从运行时对象剥离,并且带测试覆盖和连带 bug 修复。设计决策(使用构造函数参数而非全局单例或上下文)值得借鉴。

其他 重要性 6.81 洞察度 2.00

回滚 #25483,恢复 Wan2.2 ModelOpt 检查点为旧版 lmsys 路径

该 revert 保证主线稳定性,应被接受。建议后续: - 分析原 PR 的 CI 失败原因(可能是环境变量或权重版本不匹配)。 - 若需要重新引入,应先在分支上充分验证。 - 文档和示例应尽快更新,避免用户使用已回滚的路径。

缺陷修复 重要性 6.60 洞察度 6.00

延迟 MTP 权重过滤修复 OOM 挂起

值得精读的 bugfix 典范:一行的逻辑错误(tuple 强制物化)导致整个系统在特定配置下不可用,修复后效果显著。代码改动虽小,但不熟悉迭代器模型的人容易犯同样错误。

基础设施 重要性 6.59 洞察度 4.00

对齐 diffusion benchmark 预设至 Nvidia nightly 配置

建议阅读 `bench_diffusion_denoise.py` 中新增的 `validate_nightly_alignment` 函数,了解如何自动检查配置漂移。对于维护 diffusion benchmark 的团队,该 PR 提供了一个可持续对齐 nightly 配置的机制。

#25677 [PD] Clean early abort logic in PD module

原始 PR · 作者 ShangmingCai · 合并时间 2026-05-20 11:17

缺陷修复 重要性 5.03 洞察度 3.00

PD 模块提前中止逻辑清理

值得精读以了解 PD 模块的中止流程演进。该 PR 是 PD 代码清理的延续,体现了团队在推动 `conclude_state` 统一化后的冗余清理工作。

参与讨论