Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-30
文档 重要性 5.84 洞察度 4.00

NPU 量化注释去除厂商措辞,统一为 NPU

无需精读技术细节,但值得快速过一眼关键文件的注释,尤其是 `linear_method_npu.py` 和 `mxfp4_npu.py` 中保留的量化布局规范(FRACTAL_NZ、双级 scale 形状、DualLevelQuantBatchMatMul 的 A5-only 限制),这些是 NPU 量化调试的重要线索。该 PR 适合作为注释术语规范的参考模板。

缺陷修复 重要性 7.25 洞察度 6.00

空闲循环树缓存深度校验默认关闭,修复 DP 组调度卡死

值得精读。代码量虽小,却包含两个可复用设计:一是用 EnvField 的 callable default 实现「生产默认关、CI 默认开、显式覆盖优先」的三态配置语义,让调试仪器默认不进生产路径同时不牺牲 CI 回归;二是测试通过 contextmanager 清理进程环境变量来稳定默认值断言,是环境耦合测试的典型解法。对调度器与缓存团队,建议同时关注 sanity_check 自身性能(TODO(hzh))与文档同步。

2026-08-29
文档 重要性 3.40 洞察度 3.00

文档澄清 HiCache L2 实例私有、仅 L3 可跨实例共享

值得阅读:对维护者和文档贡献者而言,本 PR 是“把隐含架构语义显式化”的良好范例——用表格、Mermaid 图与 Note 三层结构回答反复出现的用户问题,且每条机器 review 意见都落实到最终提交。对纯代码开发者无需精读;若今后编写 HiCache 或统一缓存相关文档,可直接复用 Tier Sharing Scope 小节的表达方式与校订流程。

缺陷修复 重要性 5.63 洞察度 4.00

驻留要求尊重显式卸载配置,修复冲突未报错

此 PR 值得精读,因为修复了一个配置静默覆盖的隐患,并引入了通用化校验逻辑。核心设计决策:使用 `explicit_residency_mode` 统一检查所有显式驻留面,可推广到其他组件要求。建议后续在文档中说明冲突报错行为。

#36832 [Diffusion] Avoid direct GPU parameter copies

原始 PR · 作者 mickqian · 合并时间 2026-08-29 22:43

性能优化 重要性 7.52 洞察度 6.00

Direct GPU 加载下兼容权重零拷贝成为参数存储

值得精读。重点关注 `_can_assign_tensor_without_copy` 的 fail-closed 门控设计、`data_ptr` 断言如何锁定两个加载路径的行为契约,以及本 PR 从“全量采用”到“仅显式 Direct GPU 加载采用”的演进过程——这是处理“优化作用域过宽导致回归”的典型范例。可与 #36902、#36931 对照阅读 diffusion 组件加载的演进脉络。

缺陷修复 重要性 8.34 洞察度 6.00

HiCache 大池分块注册 cudaHostRegister 并支持回滚

值得精读 `common.py` 的 `_cuda_host_register` 分块与回滚实现,以及各 pool 如何推导 `registration_granularity_bytes`;这是与底层 CUDA API 语义打交道的良好范例,对理解 HiCache 大规模部署的初始化路径有参考价值。建议后续在真实 CUDA 环境跑一次大池初始化/吞吐回归,并关注 layer-first 大池的后续处理。

重构 重要性 7.69 洞察度 7.00

消除无谓的 overrides 惰性导入,保留测试接缝与循环例外

值得精读,重点看 PR 正文的“keep-list”方法论与测试接缝分析:它把“惰性导入的理由”显式写成可检查的规则,而不是留给习惯。`test_resolution_declarations.py` 中把接缝下移到数据容器的做法尤其值得借鉴——当模块级 patch 因 import 提升而失效时,把观测点移到所有路径共同经过的数据结构上,是比逐个 patch 消费者更稳的方案。建议维护者在代码审查中把“overrides 导入是否命中保留清单”作为默认检查项。

#36974 config: the dead record parameters go

原始 PR · 作者 ch-wan · 合并时间 2026-08-29 19:20

重构 重要性 6.63 洞察度 5.00

移除 srt 中 10 个死 server_args 参数及 18 个调用点

建议值得精读,尤其是配合系列 PR 一起看:36896 → 36972 → 36973 → 36974 → 36975。值得关注的设计决策是区分接口契约与自由函数死参数的分类方式、迭代到定点的删除策略,以及 ratchet 测试如何主动暴露新产生的死参数。此外,PR body 中关于 create_kt_config_from_server_args 的 AttributeError 分析揭示了裸 except 吞异常的隐患,值得结合 #36921 阅读。

参与讨论