执行摘要

修复 CUDA 13.0 环境下，CUDA graph 捕获时 JIT 编译 activation.cuh 因模板类型/值不匹配而崩溃的问题。通过引入显式 kernel_fn_t 类型别名，规避 nvcc 对 decltype 在依赖上下文中解析枚举非类型模板参数的错误，并修复了 signed-to-unsigned 窄化转换警告。所有修改均为编译期变更，不影响运行时行为。

功能与动机

关联 Issue：#25487 — 在 CUDA 13.0 上启动 SGLang 服务（如 python -m sglang.launch_server --model-path Qwen/Qwen3-8B）时，CUDA graph 捕获阶段因 JIT 编译 activation.cuh 失败导致 worker 进程被杀死。

根本原因：CUDA 13 的 nvcc 对以下代码在依赖上下文中解析错误：

decltype(ActivationKernel::template activation_kernel<ActivationKind::kSiLU, kFilterExpert>)

它将非类型枚举值 kSiLU 错误地当作类型参数，导致编译错误 type/value mismatch at argument 1。CUDA 11/12 则静默接受。

实现拆解

1. 引入 kernel_fn_t 类型别名：在 ActivationKernel 结构体中，通过 decltype(&act_and_mul_kernel<T, ActivationKind::kSiLU, kUsePDL, false>) 定义 kernel_fn_t，为全局函数模板指针提供显式类型。
2. 替换 activation_kernel 声明：将 activation_kernel 变量模板的类型从 auto 替换为 kernel_fn_t，确保编译期类型明确，避免依赖 decltype 推导。
3. 简化 select_kernel 返回类型：移除原 auto + trailing-return-type 模式，直接返回 kernel_fn_t，并去掉多余的 ActivationKernel::template 限定，使 nvcc 正确解析。
4. 修复 signed-to-unsigned 转换警告：对 hidden_size 添加 static_cast<uint32_t>()，消除窄化转换警告。
5. 兼容性：所有变更仅作用于编译期，不改变 kernel 逻辑、数值计算或模型输出，生成的 PTX/SASS 与之前一致，兼容 CUDA 11、12、13 及 ROCm/HIP。

python/sglang/jit_kernel/csrc/elementwise/activation.cuh

核心变更文件，修复模板类型解析错误和窄化转换警告

// 在 ActivationKernel 结构体内，引入显式函数指针类型 kernel_fn_t
struct ActivationKernel {
    static constexpr auto kVecSize = device::kMaxVecBytes / sizeof(T);
    static constexpr auto kBlockSize = 256u;
​
    // 新加：使用 decltype 对全局函数模板取地址，得到显式类型
    using kernel_fn_t = decltype(&act_and_mul_kernel<T, ActivationKind::kSiLU, kUsePDL, false>);
​
    // 将变量模板类型从 auto 改为 kernel_fn_t，避免依赖 decltype 解析
    template <ActivationKind kAct, bool kFilterExpert>
    static constexpr kernel_fn_t activation_kernel =
        act_and_mul_kernel<T, kAct, kUsePDL, kFilterExpert>;
​
    static_assert(device::kMaxVecBytes % sizeof(T) == 0, "unsupported data type");
​
    // select_kernel 返回类型直接使用 kernel_fn_t，去掉 decltype 和多余的 template 限定
    template <bool kFilterExpert>
    static kernel_fn_t select_kernel(const std::string& type) {
        using namespace host;
        if (type == "silu") {
            return activation_kernel<ActivationKind::kSiLU, kFilterExpert>;
        } else if (type == "gelu") {
            return activation_kernel<ActivationKind::kGELU, kFilterExpert>;
        } else if (type == "gelu_tanh") {
            return activation_kernel<ActivationKind::kGELUTanh, kFilterExpert>;
        } else {
            Panic("unsupported activation type: ", type);
        }
    }
​
    // ... 其他成员
    // 修复 signed-to-unsigned 窄化转换：将 hidden_size 显式转换为 uint32_t
    const auto hidden_size = static_cast<uint32_t>(D_out.unwrap());

评论区精华

• DarkSharpness：在本地 CUDA 12.9 上验证通过，并通知 BBuf。无进一步评论。
• BBuf：作为合并者直接批准。

无争议或未解决疑虑。

风险与影响

• 风险：极低。所有修改均为编译期的模板元编程调整，不涉及运行时逻辑变更。已在 CUDA 11/12/13 及 ROCm/HIP 上兼容。但缺少对 CUDA 13 的回归测试（CI 中可能未覆盖），建议后续增加 CUDA 13 的 JIT 编译测试。
• 影响：修复使用 CUDA 13.0 的用户启动服务器时的崩溃问题，提升框架的版本兼容性，对现有功能和性能无任何影响。

关联脉络

无历史直接关联 PR。该 PR 是针对 Issue #25487 的一次性修复，未来可考虑在 CI 中增加对 CUDA 13 的编译测试以防止回归。