执行摘要

• 一句话：为 GPT-OSS tinygemm 路由启用 PDL
• 推荐动作：值得合并的微小优化。建议熟悉 PDL 机制的工程师了解 is_arch_support_pdl 函数的实现，以及为什么 tinygemm 路径默认没有启用 PDL。

功能与动机

PR body 指出 tinygemm 是少数默认关闭 PDL 而不是自动选择的路径，启用后可在 PDL 兼容 GPU 上获得微小延迟收益。

实现拆解

1. 导入新增：在文件头部增加 from sglang.jit_kernel.utils import is_arch_support_pdl，用于运行时判断当前架构是否支持 PDL。
2. forward 方法修改：在 TinygemmBf16Linear.forward 中调用 tinygemm_bf16 时，新增参数 use_pdl=is_arch_support_pdl()，将 PDL 启用决策委托给架构检测函数。
3. 清理无用变量：在 _load_normal_weights 函数中移除未使用的 tp_rank 赋值，由 ruff 自动格式化时发现并清理。

关键文件：

• python/sglang/srt/models/gpt_oss.py（模块 模型层；类别 source；类型 data-contract）: 该文件包含了 GPT-OSS 模型实现，其中 TinygemmBf16Linear 类的 forward 方法调用 tinygemm_bf16，是本 PR 唯一修改的核心文件。

关键符号：未识别

关键源码片段

python/sglang/srt/models/gpt_oss.py

该文件包含了 GPT-OSS 模型实现，其中 TinygemmBf16Linear 类的 forward 方法调用 tinygemm_bf16，是本 PR 唯一修改的核心文件。

# 文件顶部新增导入，用于判断当前架构是否支持 PDL（Persistent Distribution Layer）
from sglang.jit_kernel.utils import is_arch_support_pdl
​
class TinygemmBf16Linear(nn.Module):
    # ... 省略上下文 ...
​
    def forward(self, x: torch.Tensor) -> Tuple[torch.Tensor, Optional[torch.Tensor]]:
        if (
            self._use_tinygemm
            and x.ndim == 2
            and x.is_cuda
            and x.shape[0] <= 128
            and x.is_contiguous()
            and x.shape[1] == self.weight.shape[1]
            and x.dtype == torch.bfloat16
        ):
            out = x.new_empty((x.shape[0], self.output_size))
            # 关键变更：传入 use_pdl = is_arch_support_pdl()，使 PDL 启用显式化
            tinygemm_bf16(x, self.weight, out, self.bias, use_pdl=is_arch_support_pdl())
            return out, None
​
        return super().forward(x)

评论区精华

作者 mmangkad 在评论中指出，技术上可以硬编码为 True 因为 tinygemm 已经只会在 PDL 兼容架构上启用，但使用 is_arch_support_pdl() 调用使意图更明确。另一位开发者 b8zhong 对无用变量移除表示认可。

• PDL 启用方式 (design): 保持 is_arch_support_pdl() 调用，使意图清晰。
• 无用变量移除 (style): 接受删除。

风险与影响

• 风险：风险极低。变更仅影响 tinygemm 路径，且 PDL 支持由架构检测函数保证，不会在不支持 PDL 的 GPU 上启用。移除未使用变量无功能影响。
• 影响：影响范围局限在 GPT-OSS 模型使用 tinygemm_bf16 的场景（即特定量化与形状条件下），PDL 启用后可在支持 GPU 上获得微小延迟改善。无用户可见行为变更或 API 兼容性问题。
• 风险标记：暂无

关联脉络

• PR #27896 [Perf] Skip per-call mat_a/scales_a padding in cutlass FP8 blockwise GEMM: 同属量化/性能优化系列，涉及 tinygemm 相关路径。
• PR #27941 Enable PDL for GPT-OSS tinygemm router: 本 PR 自身，为完整性列出。