Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

speculative-decoding 相关 PR

2026-09-01
文档 重要性 5.42 洞察度 3.00

Flash Vision 低延迟配方启用 DSpark,B200 精度更新为 75.14%

作为纯文档 PR 无需精读业务逻辑,但对 cookbook 配置面板维护者与 DeepSeek-V4 系列跟进者值得浏览。值得关注的设计:1) 用 hide / disable 规则集中表达"功能间不兼容约束"(DP Attention × DSpark、CUDA only),比散落在正文的说明更不易失真;2) `verified` 与 `verificationStatus` 双字段让 target-only 配方可以随验证进度平滑演进;3) 基准数据页把"测得分数"与"测量命令"绑定在同一单元格,降低误读风险。

功能 重要性 8.29 洞察度 7.00

打通 mixed chunk 与投机解码的组合降级路径

值得精读,尤其关注两条设计决策:一是把混合 step 的降级契约表达为 `supports_mixed_chunk()` 能力位而非算法字符串硬编码;二是 overlap 下“调度期占位 + forward 入口晚期绑定”的尾部重建模式(`resolve_mixed_spec_tails`),它绕开了 CPU 无法得知在飞 accept 数的根本矛盾。阅读建议:先看 `mix_with_running` 与 `resolve_mixed_spec_tails`,再读测试文件中的三个 cell,最后按 commit 顺序浏览 [Fix] 记录理解每个坑的成因。

2026-08-31
功能 重要性 9.00 洞察度 7.00

为 LFM2 与 LFM2-MoE 新增 DSpark 投机解码支持

值得精读。两个设计决策很有参考价值:① 面对新旋转风格,没有新增第二套 KV 写入管线,而是把既有内核泛化为'两种配对',并用 IS_NEOX=True 与旧路径逐位一致作为回归护栏;② radix 策略(extra_buffer)的 eligibility 必须尊重 hybrid 架构的 prefix-cache 恢复语义,宁可撤功能也不牺牲确定性输出。建议阅读时对照 dspark.py 的 `_build_fused_kv_write_bundle` 校验逻辑与 lfm2.py 的 `shortconv_target_verify`。另请留意:作者承诺的 `test/registered/spec/dspark/` 门禁测试尚未落地,合并后应补上,并确认 LFM2 + DSpark 的 speculative tape 在配置分辨率下的保障路径。

缺陷修复 重要性 6.42 洞察度 6.00

对齐三 PD 后端防御性协议行为,修复竞态与 KV 布局缺陷

值得精读。这是 RFC #33861 驱动的 staged refactor 的标杆 PR:1)范围控制——主动回退与 #35049/#35360 冲突的畸形消息隔离,避免扩大 scope;2)review 深度——rishabhsinha17 逐分支对照 Common planner 核验,并抓出 NIXL guard 差一行和 `_staging_ctx` 未关闭竞态两个真实问题;3)合并策略——遇到上游已落地等价实现时保留上游代码、丢弃本地重复分支,而不是强行 rebase 冲突。建议后续跟进两个遗留项:将测试合入主仓库、关闭 `_staging_ctx` 的 WATERMARK 竞态。

2026-08-30
缺陷修复 重要性 8.98 洞察度 7.00

广播 rank 0 采样决策,修复 DSpark/DFlash TP 分歧死锁

值得精读。这是投机解码 TP 一致性的系统性修复,展示了三类有价值的设计决策:CUDA graph 内执行 collectives 的约束与回退策略;'在决策派生任何状态前广播'比'在消费点同步'更安全的设计原则;用环境变量按站点裁剪做线上故障 bisection 的方法论。特别值得学习评论区中 hnyls2002 的两次纠错——一次要求补 budget 同步、一次基于纯函数推导撤销该要求并实测 50 us host-blocking 开销,构成性能关键路径上'最小同步集'的推导与验证闭环。阅读时可重点对比 commit 1c1e458(回到普通 broadcast)与 050df8e(移除 budget 同步)背后的权衡。

2026-08-29

#36973 config: six more runtime readers ask the bags

原始 PR · 作者 ch-wan · 合并时间 2026-08-29 19:19

重构 重要性 7.59 洞察度 7.00

运行时 6 个模块改为从配置 bag 读参数

值得精读。这是 config 系列重构的关键一环,展示了「先理清数据流、再逐层去掉参数透传」的系统性方法。重点学习:1) 以「读取是原字段还是命名空间叶子」为判据决定可否迁移;2) 用 `is_config_namespace_published` 把「None 用默认」重语义化为「未发布用默认」;3) 对构造函数签名变更做全仓库调用点普查(含 `srt/` 之外)。建议在阅读时对照系列内 #36896、#36972、#36974、#36975 一起看,才能理解完整演进。

性能优化 重要性 7.52 洞察度 6.00

NPU KDA 改用 causal_conv1d 原位回滚方案,推理提速约 16%

值得精读。该 PR 展示了硬件后端性能优化中一个典型设计权衡:用"原位写入 + 回滚"替代"中间快照 + 散射",并通过统一内存布局换取算子复用。重点关注 `_get_conv_weights_t` 的 dtype 缓存设计(首次 dtype 固定缓存的隐患)以及 `conv_states_shape` 转置与共享 KDA 后端的耦合点。建议后续补充 conv state 回滚正确性单测和不同 dtype 调用覆盖。

缺陷修复 重要性 5.59 洞察度 4.00

修复 DSpark 重复采样,删除多余 sample_block 调用

该 PR 小而精,值得快速合入。它修复了一个隐蔽的逻辑错误,且通过相关测试验证。关注点在于测试覆盖,建议后续补充一个直接针对该路径的单元测试,以防回归。