Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-27
文档 重要性 4.00 洞察度 4.00

修正 H200 BF16/FP8 低延迟配方的 verify 后端文档

该 PR 值得快速浏览,因为它揭示了文档与后端行为之间的耦合关系。建议关注 Codex 提出的高吞吐量配方未覆盖的问题,可能需要在后续 PR 中为 H200 高吞吐量配方也添加 Triton verify 标志,或修改通用投机处理逻辑以自动处理该情况。

性能优化 重要性 5.58 洞察度 6.00

H100 MoE 新增 TMA 配置,LingBot-Video 推理提速约 2%

值得精读。虽然只是两个 JSON 文件 + 一个测试函数,但它展示了:以真实负载 shape(5034/5049 token)为基准做内核配置调优、用 ABBA 交叉验证和 SHA256 断言保证无数值回归、以及将调优结果固化为可被测试保护的配置资产。对于要在新 Triton 版本或新硬件上做 MoE 性能调优的团队,这是很好的参考样例。

缺陷修复 重要性 7.55 洞察度 6.00

修正权重缓存驻留内存导致 KV 过度分配、启动 OOM

值得精读。重点学习两个设计决策:其一,rank-local 校正必须先于分布式 MIN,因为不同 rank 的权重驻留量不同,MIN 之后再补偿会算错;其二,用“loader 字段默认 0 + no-op 校正”替代显式 daemon 模式判断,使普通启动零开销、未来任何预驻留权重的 loader 都能复用同一钩子。此外,review 中“去掉额外本地快照与第二次 MIN,直接加回已有基线”的演进展示了如何收敛过度防御的实现。若团队后续推广此机制,建议补充 daemon 集成测试与 KV sizing 单测。

#34492 XPU: remove SGLANG_USE_SGL_XPU flag

原始 PR · 作者 Xia-Weiwen · 合并时间 2026-08-27 17:38

重构 重要性 7.04 洞察度 5.00

移除 XPU 开关,默认启用 sgl-kernel MoE,可参数回退

值得精读。关注三个设计决策:一是「环境变量开关 → server args 显式后端」的配置收敛模式,可复用到其他平台的类似开关清理;二是双路径并存的分支写法 `is_xpu() and not get_moe_runner_backend().is_triton()`,在保持默认高性能的同时保留逃生通道;三是参数化测试对后端优先级矩阵的覆盖方式(server 参数优先于 layer 参数),可作同类后端选择测试的参考模板。

缺陷修复 重要性 5.93 洞察度 6.00

kill_process_tree 默认等待回收,修复 GPU 资源泄漏

值得精读,尤其是 `kill_process_tree` 的语义变更和进程生命周期管理逻辑,对理解 SGLang 的进程模型和资源清理有重要参考价值。

功能 重要性 6.07 洞察度 4.00

为 DeepSeek-V4 CP 启用 Mori A2A 后端

该 PR 值得精读,因为它展示了一个最小化、聚焦的后端启用模式。值得关注的设计决策包括:将门控放宽在 hook 和模型侧两处同步修改,以及在不改动核心逻辑的前提下信任 Mori 与 DeepEP 路径的一致性。若后续要扩展其他后端,可参考此模式。

文档 重要性 5.82 洞察度 4.00

修正 GLM-5.3-Flash 文档 flag 并补录 GSM8K 数据

建议精读。作为『文档参数与代码枚举同步』的典型样例,NEXTN 已被 EAGLE 取代但文档曾滞后,导致配方不可启动;条件式 `verificationStatus` 表达已验证组合范围的方式值得在 cookbook 其他页面推广。合并后建议排查仓库内是否还有其他页面残留 NEXTN,并关注 H100 0.70 显存占比对长上下文用户的实际影响。

#36586 [Core] Refactor server argument choices

原始 PR · 作者 merrymercy · 合并时间 2026-08-27 16:56

重构 重要性 7.84 洞察度 4.00

重构 server_args 选项注册与别名,环境门控移至 parser 构造期

该 PR 值得精读的点在于两种模式:用 bound method 别名消除样板 wrapper(如 add_load_format_choices = LOAD_FORMAT_CHOICES.extend),以及把环境门控从 import 期推迟到使用期并配以 parser 级测试。对维护大型 argparse 注册表的项目有直接借鉴价值;对只关注推理功能的读者,本 PR 无推理路径改动,可略读。合入前建议确认 CI Extra 失败原因。

参与讨论