Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-03 23:33 同步状态:空闲 下次计划:2026-09-04 00:33

PR 列表

更多筛选
2026-07-15
性能优化 重要性 6.42 洞察度 5.00

设备上步进 KV token 到页索引,减少 D2H 拷贝量

值得精读:展示了如何通过调整 D2H 拷贝时机来优化性能,变更量小但收益明显,适合学习性能优化思路。

缺陷修复 重要性 7.27 洞察度 5.00

修复PD分离中KV传输指标未考虑复制扇出的问题

此 PR 修复逻辑清晰,测试覆盖完整,值得阅读。设计上“在引导屏障点一次性地解析拓扑不变量并缓存”的模式可推广到其他类似场景。建议从事分离部署或分布式推理监控的开发者重点关注。

#31199 [CI] Fix Flash MLA SM120 test import path

原始 PR · 作者 mmangkad · 合并时间 2026-07-15 00:01

缺陷修复 重要性 3.81 洞察度 2.00

修复 Flash MLA SM120 测试导入路径

该 PR 是一个标准、低风险的后续修复,无需精读。但可作为注意力内核迁移(PR#30789)的配套变更,作为重构时需同步更新测试导入的例子。

2026-07-14

#30870 Avoid TileLang CUDA runtime pollution

原始 PR · 作者 mickqian · 合并时间 2026-07-14 22:30

缺陷修复 重要性 7.79 洞察度 6.00

避免 TileLang CUDA 运行时污染导致启动失败

建议精读。本 PR 展示了一种基于延迟导入和 CUDA 库选择策略来隔离不同 CUDA 运行时的有效模式。其中关于 `/proc/self/maps` 候选处理以及 NamedTuple 的设计选择值得在类似场景中复用。

缺陷修复 重要性 4.72 洞察度 3.00

修复 NPU 节点拓扑探测张量设备不匹配

建议 NPU 相关维护者精读,理解设备兼容性问题。其他后端团队可快速浏览,作为跨设备修复的参考案例。

缺陷修复 重要性 5.52 洞察度 5.00

修复解耦预填充语法错误导致KV双释放

值得精读。该 PR 展示了异步传输与错误处理交织时资源生命周期的细致考量,是解耦预填充稳定性的重要修复。建议关注 `to_finish` 升格问题,后续可能需跟进 PR 完善外部中止保护。

参与讨论