Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-15
缺陷修复 重要性 5.14 洞察度 4.00

修复多模态嵌入请求缺失字段崩溃

该 PR 改动极小但修复了所有多模态 embedding 请求的完全故障,建议尽快合入。值得关注的点在于:公共调用点对请求类型的假设如何导致回归,以及测试注册平台差异对回归拦截时效的影响。建议后续考虑将覆盖用例加入 NVIDIA PR CI,或在类型设计上为 EmbeddingReqInput 提供一致接口。

缺陷修复 重要性 8.44 洞察度 5.00

滑动窗口跟踪 prefill 批大小高水位,修复 TPOT 劣化

该 PR 值得精读,尤其是 `RecentPrefillBatchSizeTracker` 和 `_estimate_attempted_prefill_bs` 的设计:用滑动窗口替代指数衰减来老化高水位,并在无法获得真实批大小时用保守上界估计,是一种可复用的调度状态维护模式。建议关注 `max_prefill_bs` 类型变化对下游判断的影响,以及窗口大小在不同负载下的调参经验。

功能 重要性 6.26 洞察度 6.00

DSpark 在 DP attention 下支持 MegaMoE 后端

值得精读,但重点不在代码量,而在于它展示了一个典型的「先论证 lockstep 前提、再放开参数限制」的工程范式:用 `_fill_dp_moe_sync_metadata` 的 all-gather 与 `run_idle_participation` 的参与机制证明 EP 下每 rank MoE 调用次数一致,再以 `SGLANG_RAGGED_VERIFY_MODE=static` 兜底图 tier 一致性。PR body 附带的正确性/性能双验证也值得作为后续同类 gate 变更的参考模板。

缺陷修复 重要性 6.69 洞察度 4.00

为 Qwen3.5 纯文本包装类补齐 DFLASH 钩子,修复启动崩溃

值得快速阅读(约 10 行改动),不适合精读。对维护 DSPARK/DFLASH 与 Qwen3.5 适配的工程师尤其有用:它展示了“包装类必须透传 aux-hidden capture 契约”这一模式。建议后续补充一个单元测试,断言 wrapper 存在 `set_dflash_layers_to_capture` 且将调用委托给 body 类,防止同类契约回归。

测试 重要性 5.06 洞察度 4.00

裁剪 Qwen3.5 FP8 GB300 性能批次,缩短夜间 CI 耗时

值得快速浏览,不需要精读。如果团队在维护 Blackwell/GB300 性能回归,可以借鉴按变体裁剪 batch size、抽取公共 accuracy_params、循环内捕获 AssertionError 并聚合并最终统一抛出的模式;但本 PR 本身只是测试编排小改动,且真实环境验证未通过,合入前应确认重跑失败的具体原因。

缺陷修复 重要性 5.91 洞察度 5.00

规避 xgrammar 0.2.1 负整数下限编译错误,修复 Kimi-K3 工具调用

值得精读,可作为处理第三方依赖转换缺陷的典型 workaround 案例。关注点:零拆分的 anyOf 策略如何保持语义等价;exclusiveMinimum 的边界转换;以及 CI 中真实 xgrammar 编译测试的写法。

#33593 [RL] Expose top-p-only sampling masks

原始 PR · 作者 nanjiangwill · 合并时间 2026-08-15 07:40

功能 重要性 7.06 洞察度 6.00

支持 top-p-only 采样掩码并新增 chat 接口暴露

值得精读。它展示了如何以最小改动(3 处源码 + 3 处测试)扩展一个既有原语的请求面,并通过拆分后续 PR 控制性能风险。关注 `sampling_mask_max_top_k` 对批处理的影响,以及 #34037 的后续落地。

参与讨论