Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-08-21

#35698 [diffusion] Fuse LTX-2.5 decoder 3D RoPE

原始 PR · 作者 BBuf · 合并时间 2026-08-21 10:13

功能 重要性 9.16 洞察度 7.00

融合 LTX-2.5 decoder 3D RoPE,单 kernel 旋转 Q/K 并缓存表格,整网提速约 17%

值得精读。这个 PR 展示了在不改变数值语义的前提下做 kernel 融合的完整套路:先构造共享的 compact 表、再写一次性旋转 Q/K 的 CUDA kernel、用预检函数拦截一切不支持输入、用 bit-exact gate 在首次调用时自动验证并永久回退。对比数据(10 倍级加速 + 输出 SHA256 一致 + 显存不变)是很有说服力的验收标准。建议重点看 `ltx_2_5_diffusion_decoder.py` 的 `_tables`/`_apply_rope`/`forward_pair` 与 `ltx25_decoder_rope.cuh` 的 pair 旋转循环,理解"eager 顺序被严格保留"在 kernel 里是如何体现的(`__fmul_rn`/`__fsub_rn` 组合、避免 FMA)。唯一需要留意的是 gate 与全局缓存的生命周期管理,可作为后续讨论点。

功能 重要性 9.11 洞察度 7.00

unified radix tree 上为 SWA 混合模型解锁 decode 侧 KV 前缀复用

值得精读。它是 SWA 混合模型接入 decode-side radix cache 的里程碑 PR,核心看点是 SWA 双生命周期 KV 与页对齐 radix key 的交互、margin 设计如何直接消除 `return_full_match` 的过度设计,以及 full/SWA 锁引用计数的精细管理。想理解后续 DSV4/MiMo 扩展(#27831)的读者,应先读透本 PR 的窗口裕量与准入逻辑。

#35627 [CI] Temporarily disable B300 jobs

原始 PR · 作者 mmangkad · 合并时间 2026-08-21 08:54

基础设施 重要性 4.02 洞察度 2.00

临时禁用 B300 CI 任务

该 PR 简单且属于临时措施,建议快速合入以恢复 CI 稳定性,但应跟踪 #35607 并在修复后及时恢复 B300 作业。对于开发者,可关注 B300 硬件上的测试覆盖是否重要,必要时安排替代测试。

缺陷修复 重要性 7.78 洞察度 6.00

修复嵌套 cgroup 下内存上限误读,避免 OOM

值得精读。核心看点:一是容器内外 cgroup 路径不对齐问题的“渐进缩短后缀”解法,简洁、无依赖且语义清晰;二是“取最紧 cap + 对应 usage”的选择,正确反映了 cgroup 层级继承;三是测试用 tmp_path 构造嵌套 cgroup 树的方式,值得作为同类 sysfs 探测逻辑的测试模板。建议后续补充 v2 嵌套场景用例,并关注混合 v1/v2 挂载下的边界行为。

缺陷修复 重要性 6.27 洞察度 4.00

恢复有限 top_k 的采样掩码要求,拒绝 top-p-only 请求

值得快速精读,尤其是 `scheduler.py` 中采样掩码的请求校验分支,以及测试对拒绝路径的回归设计。它体现了“功能放宽必须匹配资源上界”的设计决策,对理解采样掩码的安全边界和后续 #35765 的通用支持有参考价值。

#35197 fix(kernel) Fix Helion small-token prefill bug

原始 PR · 作者 ethche · 合并时间 2026-08-21 07:41

缺陷修复 重要性 6.25 洞察度 5.00

修复 Helion KDA 短 prefill 形状处理与解码维度校验

值得精读。本 PR 揭示了 JIT kernel trace 特化(size-one 维度常量折叠)导致缓存污染的真实案例,以及通过「路由到 Triton fallback」规避的通用设计模式;同时 wrapper 入口做契约对齐(裁剪 padding)的做法也可借鉴。重点关注 `kda_prefill.py` 的 T=1 fallback 与 `kda_decode.py` 的输入校验策略。

文档 重要性 2.97 洞察度 2.00

修复 sglang-d 文档 note 格式,改为 JSX 标签

该 PR 为简单文档格式修改,建议快速合并,无需深入精读。但可借此确认文档渲染规范,避免后续类似问题。

参与讨论