Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 04:33 同步状态:空闲 下次计划:2026-09-05 05:33

PR 列表

更多筛选
2026-06-05

#23979 Enable DeepGEMM PDL on by default

原始 PR · 作者 b8zhong · 合并时间 2026-06-05 05:13

功能 重要性 5.42 洞察度 5.00

默认启用 DeepGEMM PDL 优化

该 PR 值得精读,展示了如何通过环境变量默认启用底层库优化,并保持向后兼容性。但应注意 CUDA context 问题已在后续修复,建议阅读时一并参考 PR#27671。设计上采用了"安全导入 + 特性检测"模式,值得在其他类似场景复用。

缺陷修复 重要性 6.80 洞察度 6.00

启用 spec topk>1 的 busy 内存检查

建议精读,涉及 speculative decoding 内存管理的关键不变检查,以及测试基础设施中 MRO 合并环境覆盖的可复用模式。修复的身份比较问题是一个典型的 dataclass 陷阱,值得注意。

缺陷修复 重要性 5.25 洞察度 4.00

支持 compressed-tensors WNA16 非对称权重量化

值得精读 dispatch 逻辑,了解如何与 vLLM 对齐。尽管测试被移除,但核心逻辑变更经过 review,且 kernel 路径有间接覆盖。建议未来在类似修复中保留最小单元测试。

缺陷修复 重要性 5.16 洞察度 3.00

修复 AMD CI 上 aiter 贪婪采样越界 token 问题

此 PR 值得快速合并。变更简洁、目标明确、风险可控。建议合并后跟踪 aiter 上游修复进度,待修复后移除该环境和相关测试变通。同时,建议根据 hubertlu-tw 的建议增强 `test_aiter_greedy_sample_amd.py` 测试覆盖,防止类似回归再次发生。

文档 重要性 2.94 洞察度 2.00

Gemma 4 cookbook 新增 Docker 安装说明

可直接合并。建议后续关注 Docker 镜像的更新频率,以及是否需要同步更新其他 cookbook 的 Docker 安装说明。

2026-06-04
功能 重要性 7.29 洞察度 5.00

为 AITER fused_moe 添加可选 kwargs 和 no_combine 支持

建议快速合并。PR 设计清晰,测试全面。关键设计决策(functools.cache 特征探测、条件 kwargs 转发、空输入适配)值得其他 runner 参考。

参与讨论