Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-14
缺陷修复 重要性 6.15 洞察度 4.00

修复 GDN verify 后端配置被覆盖,支持 NEXTN+bf16

值得花几分钟精读 `gdn_backend.py` 的 dispatcher 构造逻辑:它展示了一个小而清晰的“显式配置优先、自动规则兜底”的分发模式,且 PR 给出了可复现的崩溃证据和性能/精度数据。注意其局限——无测试配套且只 honor triton,后续若有 verify kernel 配置语义的扩展(如显式 flashinfer),建议先补齐 dispatcher 单测。

缺陷修复 重要性 3.43 洞察度 3.00

修复 AMD CI 中 ANTLR 版本冲突,解锁 ROCm 7.2 stage-b 评测

值得合入,并可作为 CI 依赖冲突排查的范例阅读。关注三点:一是在安装脚本中立即钉回版本的修复时机选择;二是 --force-reinstall --no-deps 的取舍理由;三是对 install_with_retry 内部 eval 拆词的防御。对普通读者不需要精读,对 AMD CI 维护者建议顺手补充安装后 antlr 版本校验,防止回归。

功能 重要性 8.67 洞察度 7.00

CuTe DSL 后端接入 per-token NVFP4 在线量化与 reload

值得精读。该 PR 的价值不仅在于功能实现,更在于三处设计决策:一是量化契约的语义边界划分(`nvfp4_online` 严格对应 per-token,per-tensor 归 `modelopt_fp4`),为后续其他后端接入提供了可参照的契约模板;二是 reload 场景下保持 CUDA graph 捕获 tensor 身份不变的 in-place 刷新机制,这是在线服务场景的隐性约束;三是对上游依赖缺口的处理策略——用窄化 workaround 覆盖启动阶段、及时回退与注释 TODO,避免将上游 bug 固化到生产路径。建议关注 FlashInfer 0.6.17 发布后的 `_synchronize_cutedsl_autotune_replay` 清理,以及 #4486 修复后测试 skip 的解除。

#34759 [DSpark] Fix EP1 decode performance regression

原始 PR · 作者 ormandj · 合并时间 2026-08-14 08:00

缺陷修复 重要性 6.05 洞察度 4.00

DSpark 按需分配 num_token_non_padded,修复 EP1 解码性能回归

值得快速浏览:改动极小但定位精准,是典型的避免热路径上无意义设备分配的微优化案例;同时展示了性能回归修复应附 matched profiling 的实践。合并历史中测试被移除这一点值得关注——如果团队希望长期守住两条开关路径的行为,建议后续补一个针对 _make_num_token_non_padded 的轻量单测。

性能优化 重要性 5.38 洞察度 5.00

跳过 DSV4 nonpaged 索引器的平凡行 logits 计算

值得精读。该 PR 展示了如何在保持语义长度的前提下,通过向 kernel 传递空区间跳过无效计算,是一种低成本、可复用的性能优化模式;同时正确地将优化限定在特定后端与开关下,体现了良好的兼容性意识。关注的重点是 `NonPagedIndexerPlan` 的 `ke` 语义变化以及 SGL Top-K 与 DeepGEMM 之间的契约。

性能优化 重要性 5.07 洞察度 4.00

DSpark draft 的 num_token_non_padded 改为非阻塞拷贝,消除每步同步

值得精读。该 PR 虽然改动极小,但精准定位了性能瓶颈,并展示了 PyTorch 中 host-to-device 拷贝的常见同步陷阱。其与现有 `global_num_tokens_gpu` 写法的对齐也体现了代码库内的一致性原则。适合作为性能优化的小型范例。

基础设施 重要性 5.20 洞察度 4.00

恢复 gfx942 Grok-1 INT4 与 Grok-2 夜测调度,仅移除 FP8

值得 CI/基础设施维护者快速浏览:变更本身是纯 workflow 调度恢复,逻辑直白;真正的价值在于 PR body 中“与 #34643 叠加做机器净差异验证”的方法论,可作为同类 CI 调度调整的验证模板。不需要精读源码,也不涉及运行时行为。

参与讨论