Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-04 00:39 同步状态:空闲 下次计划:2026-09-04 01:39

PR 列表

更多筛选
2026-05-06
缺陷修复 重要性 6.10 洞察度 4.00

修复 PD 场景下 abort() 状态同步缺失

值得阅读,尤其关注 common/conn.py 中的基类修复模式——通过统一基类而非各处修改来修复跨后端的 bug,是良好的工程实践。Mooncake 子类删除后应关注是否有其他自定义行为丢失(经检查没有)。

#24416 [PD] Fix KV transfer metrics

原始 PR · 作者 cctry · 合并时间 2026-05-06 18:44

缺陷修复 重要性 7.58 洞察度 5.00

修复 KV 传输指标并统一接口

值得精读,尤其是 `KVTransferMetric` 的抽象设计和 `duration_between` 的安全模式。开发者可借此学习如何在不破坏现有接口的前提下统一异构后端的指标报告。此外,review 中关于预计算长度和避免 `assert` 的建议也值得在日常开发中参考。

#24520 Fix lint

原始 PR · 作者 fzyzcjy · 合并时间 2026-05-06 18:26

重构 重要性 2.95 洞察度 1.00

移除测试文件中未使用的导入

这是一个简单的 lint 修复,可以直接合并,无需深入审查。

#24516 [Doc] Fix instruction on Cuda 13 environments

原始 PR · 作者 Fridge003 · 合并时间 2026-05-06 17:37

文档 重要性 3.05 洞察度 3.00

删除独立 CUDA 13 安装步骤,默认 CUDA 13

该 PR 是日常维护型文档更新,无需深度阅读。但值得关注的是,它标志着 SGLang 默认环境正式切换至 CUDA 13,对于关注 CUDA 版本兼容性的开发者是一个重要信号。

缺陷修复 重要性 5.83 洞察度 5.00

修复扩散模型 CFG 并行中非连续张量通信崩溃

建议合并此 PR,因为它修复了 CPG 并行在 JoyAI 等模型上的功能性崩溃,并带来了显著的性能提升。但在合并前,应评估 review 中提出的 in-place 语义问题——如果调用者依赖原始张量更新,需复制回结果(如 `input_.copy_(contiguous_result)`);若当前所有调用者都不依赖,则可忽略。建议补充一个单元测试用例,覆盖非连续张量输入场景。

重构 重要性 8.88 洞察度 6.00

解耦 NCCL 注册与分配,支持跨组内存复用

值得精读,尤其关注 C++ 跟踪 + Python 延迟注册的边界设计,以及如何在避免数据复制的同时保持正确性。适合理解对称内存分配器的演进。

参与讨论