Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 19:08 同步状态:空闲 下次计划:2026-09-01 20:08

PR 列表

更多筛选
2026-08-09

#32858 Fix DCP KV head mapping for GQA models

原始 PR · 作者 YAMY1234 · 合并时间 2026-08-09 05:25

缺陷修复 重要性 7.96 洞察度 7.00

DCP 组内复制 KV head,修复 GQA 模型 DCP 精度错误

值得精读。该 PR 是 DCP(decode context parallelism)下 GQA 正确性修复的范本:`get_num_kv_heads` 的 `dcp_size` 参数化与 `QKVParallelLinear` 的 Q/K/V 布局解耦是两个关键设计决策,默认参数回退保证了非 DCP 路径零行为变化。建议关注三点:一是 draft 与 target 在 DCP 语义上的差异及其测试表达;二是后续 `--dcp-replicate-q-proj` 两种模式的落地(Q 复制后可进一步省去组内权重冗余);三是 KV 容量随 head 复制而下降的容量规划。

#34089 [CI] Add Kimi-K3 low-latency performance check

原始 PR · 作者 mmangkad · 合并时间 2026-08-09 04:42

测试 重要性 4.87 洞察度 3.00

Kimi-K3 B300 CI 新增低延迟性能阈值检查

值得关注:这是性能保障模式(SpecDecodingMixin + 类属性阈值)在 Kimi-K3 低延迟配方上的落地,可了解 sglang.test.kits.spec_decoding_kit 的断言机制。设计决策是用声明式类属性配置性能门槛,简单可扩展。对维护 K3 性能的工程师有参考价值,但对一般读者只需了解其把关作用即可。

重构 重要性 9.18 洞察度 5.00

DeepSeek 注意力前向拆分出独立 ROCm 路径

值得精读。该 PR 展示了如何通过枚举 + 调度函数优雅分离平台特例,是处理多后端代码库中平台分支蔓延的典型案例。重点关注 `resolve_rocm_forward_method` 的映射表设计、ROCm 专用 mixin 如何复用共享 core 逻辑,以及共享函数去私有化的边界。

缺陷修复 重要性 7.10 洞察度 6.00

K3 融合 GEMM 改发 fp32 路由 logits,修复专家选择精度

值得精读。三个设计决策很有借鉴价值:(1) 用「输出 fp32、消费者吸收」化解融合 GEMM 的单 dtype 冲突,且因 TGV 累加器本来就是 fp32,精度修复几乎零成本;(2) 用 `bf16(round(fp32))` bit-identical 论证把 fp32 契约安全扩展到所有 runner,避免新增条件分支;(3) JIT 内核以 `(in, out)` dtype 二元组做模板与编译缓存管理。需要注意 `_fi_kernel` 私有字段耦合与测试缺口,若后续接手该路径,建议先补 dtype 契约单测。

#34085 [diffusion] Clean up kernels and shared fast paths

原始 PR · 作者 BBuf · 合并时间 2026-08-09 00:37

重构 重要性 8.89 洞察度 7.00

集中 diffusion 共享快路径,统一内核与质量门控

值得精读。本 PR 展示了扩散内核在性能优化之后的收敛模式:共享数值原语保证 bit-exact 口径、`QualityGatedFusion` 以 all-or-nothing 方式管理非 bit-exact 融合、模型侧不再各写 fallback。建议重点阅读 `quality_gate.py`、`native_bf16_rmsnorm.py` 和 `denoising.py` 的表驱动挂载逻辑;如果团队要新增扩散模型或新融合内核,这套"模型无关命名 + 位精确契约 + 静态守卫"的组织方式可以直接借鉴。

2026-08-08

#34106 [jit_kernel] Fix missing JIT kernel namespaces

原始 PR · 作者 mmangkad · 合并时间 2026-08-08 22:15

缺陷修复 重要性 2.69 洞察度 4.00

修复 JIT 内核 missing namespace,恢复首次编译

值得快速阅读,作为 JIT 内核 namespace 约定的补充案例。主要关注点是:新增/迁移 JIT 内核时必须检查 namespace sglang 包裹,#33400 这种全局迁移很可能漏掉之后新增的文件,补丁型修复可以快速恢复但最好有扫描机制防回归。

缺陷修复 重要性 5.49 洞察度 5.00

修复 Inkling 的 Anthropic thinking=disabled 400 报错

值得精读:这是一个小而完整的 bug 修复范本——先厘清「effort 条件式 vs toggle」的语义差异,再选择在写侧做特殊映射并保留读侧不动,同时用带注释的回归测试锁定双向行为。对理解 SGLang 推理配置的写入路径(`apply_reasoning_enabled`)与读取路径(`_get_reasoning_from_request`)如何保持同步很有帮助。

缺陷修复 重要性 5.94 洞察度 4.00

SageAttention 补 SM90 守卫,缺补丁时回退 FA

值得快速阅读:这是一个典型的「可选依赖 fail-closed 守卫」案例,亮点在于用绑定形状(符号是否存在)而非包版本做检测,因为上游修复后版本号仍为 2.2.0。对于需要在源码里探测「同版本不同实现」的场景有借鉴价值;同时可关注其 CI Extra 失败重跑后的结果,以及未来是否补上正向路径测试。

参与讨论