回退 BCG 输出缓冲共享优化
建议合并。这是一个回退操作,目标明确、改动量小、风险低。后续如果仍需共享 buffer 优化,应在充分测试和 review 后重新提交。
SGLang is a high-performance serving framework for large language models and multimodal models.
回退 BCG 输出缓冲共享优化
建议合并。这是一个回退操作,目标明确、改动量小、风险低。后续如果仍需共享 buffer 优化,应在充分测试和 review 后重新提交。
原始 PR · 作者 merrymercy · 合并时间 2026-06-10 11:33
共享 BCG 输出缓冲区减少显存占用
值得精读,了解 BCG runner 内部机制和显存优化技巧。设计上通过递归辅助函数处理嵌套输出结构,代码可维护性较好;建议后续增加单元测试覆盖输出为 `None` 及结构变化的场景。
修复 HybridAttnBackend Mamba 状态更新遗漏
该 PR 修复了一个具体的兼容性问题,实现简单直接。建议开发者关注 review 中提出的改进建议:复用 `_select_backend` 和显式签名,可提升代码一致性和健壮性。对于理解 HybridAttnBackend 的转发模式及推测解码中 Mamba 状态管理有参考价值。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-06-10 10:54
修复Eagle与统一L3缓存兼容性bug
该 PR 变更小但关键,建议快速审核通过。重点关注确保 `prefetch_key` 传递方式变更不会破坏非 Eagle 场景的预取流程。合并后建议运行完整的 HiCache 测试套件(包括无 Eagle 配置)以验证无回归。新增的单元测试设计(FakeCacheController + 断言存储键类型)可复用作为类似缓存测试的示例。
原始 PR · 作者 michaelzhang-ai · 合并时间 2026-06-10 10:39
AMD 2-GPU allreduce 测试迁移至注册系统
低风险测试基础设施变更,推荐快速合并。值得关注的点:迁移模式可作为后续更多测试迁移的参考。
原始 PR · 作者 ranimandepudi · 合并时间 2026-06-10 10:36
为 Arm64 CI 添加 INT8 MoE 测试并迁移至注册系统
值得精读其中的 CI 迁移模式:通过 `register_cpu_ci` 声明式注册测试,配合集中式 `PER_COMMIT_SUITES` 管理套件,可显著简化多平台 CI 配置。后续清理 `test/srt/cpu/` 目录时可参考此 PR 的副本策略。
移除 GLM-5 L3 nightly 中不稳定的 MMLU two-pass 测试
此 PR 为单纯的测试维护变更,不建议深入精读。但值得注意的决策经验:对于小样本评估,精度差异阈值应结合样本量合理设定,或改用 KL 散度等更稳定的指标。
更新DeepSeek-V4 playground的MegaMoE处理并刷新基准数据
值得关注的设计决策:将MegaMoE从独立axis合并到moe axis,减少UI层级并利用已有的backend选择机制;通过`requiresHw`实现硬件门控,通过`megamoeQuant`子选择分离量化配置,保持了模块化。建议文档维护者留意配置与运行时一致性。
参与讨论