Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-06-10
缺陷修复 重要性 7.70 洞察度 3.00

回退 BCG 输出缓冲共享优化

建议合并。这是一个回退操作,目标明确、改动量小、风险低。后续如果仍需共享 buffer 优化,应在充分测试和 review 后重新提交。

性能优化 重要性 8.20 洞察度 6.00

共享 BCG 输出缓冲区减少显存占用

值得精读,了解 BCG runner 内部机制和显存优化技巧。设计上通过递归辅助函数处理嵌套输出结构,代码可维护性较好;建议后续增加单元测试覆盖输出为 `None` 及结构变化的场景。

缺陷修复 重要性 5.98 洞察度 4.00

修复 HybridAttnBackend Mamba 状态更新遗漏

该 PR 修复了一个具体的兼容性问题,实现简单直接。建议开发者关注 review 中提出的改进建议:复用 `_select_backend` 和显式签名,可提升代码一致性和健壮性。对于理解 HybridAttnBackend 的转发模式及推测解码中 Mamba 状态管理有参考价值。

缺陷修复 重要性 7.15 洞察度 4.00

修复Eagle与统一L3缓存兼容性bug

该 PR 变更小但关键,建议快速审核通过。重点关注确保 `prefetch_key` 传递方式变更不会破坏非 Eagle 场景的预取流程。合并后建议运行完整的 HiCache 测试套件(包括无 Eagle 配置)以验证无回归。新增的单元测试设计(FakeCacheController + 断言存储键类型)可复用作为类似缓存测试的示例。

#25007 Add Arm64 INT8 MoE test coverage

原始 PR · 作者 ranimandepudi · 合并时间 2026-06-10 10:36

测试 重要性 7.14 洞察度 5.00

为 Arm64 CI 添加 INT8 MoE 测试并迁移至注册系统

值得精读其中的 CI 迁移模式:通过 `register_cpu_ci` 声明式注册测试,配合集中式 `PER_COMMIT_SUITES` 管理套件,可显著简化多平台 CI 配置。后续清理 `test/srt/cpu/` 目录时可参考此 PR 的副本策略。

#27688 Fix flaky hicache l3 mmlu nightly test

原始 PR · 作者 ispobock · 合并时间 2026-06-10 10:01

测试 重要性 5.17 洞察度 2.00

移除 GLM-5 L3 nightly 中不稳定的 MMLU two-pass 测试

此 PR 为单纯的测试维护变更,不建议深入精读。但值得注意的决策经验:对于小样本评估,精度差异阈值应结合样本量合理设定,或改用 KL 散度等更稳定的指标。

文档 重要性 7.75 洞察度 2.00

更新DeepSeek-V4 playground的MegaMoE处理并刷新基准数据

值得关注的设计决策:将MegaMoE从独立axis合并到moe axis,减少UI层级并利用已有的backend选择机制;通过`requiresHw`实现硬件门控,通过`megamoeQuant`子选择分离量化配置,保持了模块化。建议文档维护者留意配置与运行时一致性。

参与讨论