执行摘要

• 一句话：为 torch.compile 补全平台后端参数，默认仍为 inductor
• 推荐动作：值得快速浏览的 PR，尤其是平台开发者。改动虽小，但清晰展示了 vLLM 如何通过 current_platform.simple_compile_backend 统一管理编译后端。建议关注 kimi_k25_vit.py 中 disable 与 backend 的组合方式，以及后续是否有平台真正覆盖该属性。

功能与动机

PR 标题和描述明确指出“Fill in the missing backend parameter for torch.compile”，目的是“It helps platform to override the compile backend”，同时保证“The default value is inductor which is the same as before”。此前各处 torch.compile 直接使用 PyTorch 默认后端，非 inductor 平台（如 TPU、XPU 等）无法通过统一的平台抽象切换编译后端，需要补全参数以便平台层接管。

实现拆解

1. 引入平台抽象导入：在 vllm/model_executor/models/parakeet.py、vllm/model_executor/models/kimi_k25_vit.py、vllm/model_executor/models/diffusion_gemma.py、vllm/transformers_utils/processors/nano_nemotron_vl.py 和 vllm/v1/sample/ops/topk_topp_sampler.py 中新增 from vllm.platforms import current_platform，以便引用统一的平台编译后端属性。
2. 替换装饰器参数：将各文件中 @torch.compile(dynamic=True) 统一改为 @torch.compile(dynamic=True, backend=current_platform.simple_compile_backend)。涉及函数包括 _apply_mel_filters、_apply_preemphasis、_normalize_mel_features（parakeet.py）、get_rope_shape（kimi_k25_vit.py）、_softcap_logits、_compute_num_rejected、_compiled_sample_step（diffusion_gemma.py）、_bicubic_resize_and_normalize（nano_nemotron_vl.py）和 compiled_random_sample（topk_topp_sampler.py）。
3. 保留特殊 disable 逻辑：kimi_k25_vit.py 中的 get_rope_shape 原本带有 disable=current_platform.simple_compile_backend == "tpu"，本次改动在补全 backend 参数的同时保留该 disable 条件，避免 TPU 上编译行为改变。
4. 测试与 CI 配套：本 PR 未新增或修改测试文件，依赖现有 CI 验证各平台路径。CI 经过多轮触发（Buildkite #83865、#84380、#84574）并通过，最后由维护者批准合并。

关键文件：

• vllm/model_executor/models/parakeet.py（模块 音频编码；类别 source；类型 data-contract；符号 _apply_mel_filters, _apply_preemphasis, _normalize_mel_features）: 音频特征提取中的 3 个 torch.compile 函数需要统一补充平台后端参数，是本次改动的核心模型文件之一。
• vllm/model_executor/models/kimi_k25_vit.py（模块 视觉编码；类别 source；类型 data-contract；符号 get_rope_shape）: get_rope_shape 的编译装饰器不仅补充了 backend，还保留了 TPU disable 条件，体现了与其他文件的差异处理，是理解平台适配的关键点。
• vllm/model_executor/models/diffusion_gemma.py（模块 扩散模型；类别 source；类型 data-contract；符号 _softcap_logits, _compute_num_rejected, _compiled_sample_step）: DiffusionGemma 推理路径上的 softcap 与采样统计函数均涉及 torch.compile，补全 backend 参数可让平台级编译策略在这些细粒度函数上生效。
• vllm/transformers_utils/processors/nano_nemotron_vl.py（模块 多模态处理；类别 source；类型 dependency-wiring；符号 _bicubic_resize_and_normalize）: NanoNemotron VL 的图像预处理函数被编译，补全 backend 参数后平台可在多模态预处理路径上覆盖编译后端。
• vllm/v1/sample/ops/topk_topp_sampler.py（模块 采样器；类别 infra；类型 infrastructure；符号 compiled_random_sample）: v1 采样器中的 compiled_random_sample 是高频采样路径，补充 backend 参数使平台可对采样编译生效。

关键符号：_apply_mel_filters, _apply_preemphasis, _normalize_mel_features, get_rope_shape, _softcap_logits, _compute_num_rejected, _compiled_sample_step, _bicubic_resize_and_normalize, compiled_random_sample

关键源码片段

vllm/model_executor/models/parakeet.py

音频特征提取中的 3 个 torch.compile 函数需要统一补充平台后端参数，是本次改动的核心模型文件之一。

# vllm/model_executor/models/parakeet.py
# 音频特征提取相关步骤通过 torch.compile 加速，
# 本次将 backend 显式指向当前平台的简单编译后端，
# 默认仍是 inductor，但允许平台自行覆盖。
​
from vllm.platforms import current_platform
​
@torch.compile(dynamic=True, backend=current_platform.simple_compile_backend)
def _apply_mel_filters(
    self, stft_output: torch.Tensor, mel_filters: torch.Tensor
) -> torch.Tensor:
    # 由 STFT 复数结果计算幅度谱，再与 Mel 滤波器组相乘并取对数
    magnitudes = stft_output.real.square() + stft_output.imag.square()
    mel_spec = mel_filters @ magnitudes
    mel_spec = torch.log(mel_spec + LOG_ZERO_GUARD_VALUE)
    return mel_spec.permute(0, 2, 1)
​
@torch.compile(dynamic=True, backend=current_platform.simple_compile_backend)
def _apply_preemphasis(
    self, input_features: torch.Tensor, audio_lengths: torch.Tensor
) -> torch.Tensor:
    # 预加重：相邻帧差分乘以系数，并按实际长度掩码
    timemask = torch.arange(
        input_features.shape[1], device=input_features.device
    ).unsqueeze(0) < audio_lengths.unsqueeze(1)
    input_features = torch.cat([
        input_features[:, :1],
        input_features[:, 1:] - self.config.preemphasis * input_features[:, :-1],
    ], dim=1)
    return input_features.masked_fill(~timemask, 0.0)

vllm/model_executor/models/kimi_k25_vit.py

get_rope_shape 的编译装饰器不仅补充了 backend，还保留了 TPU disable 条件，体现了与其他文件的差异处理，是理解平台适配的关键点。

# vllm/model_executor/models/kimi_k25_vit.py
# Kimi K25 视觉塔的 RoPE 形状计算需要动态编译，
# 且 TPU 平台会整体禁用编译，因此保留 disable 条件。
​
@get_rope_shape_decorate
@torch.compile(
    dynamic=True,
    backend=current_platform.simple_compile_backend,
    disable=current_platform.simple_compile_backend == "tpu",
)
def get_rope_shape(org, interpolation_mode, shape):
    # 通过插值调整 RoPE 形状，并展平为后续算子需要的布局
    return (
        F.interpolate(
            org.permute((2, 0, 1)).unsqueeze(0),
            size=shape,
            mode=interpolation_mode,
        )
        .squeeze(0)
        .permute((1, 2, 0))
        .flatten(end_dim=1)
    )

vllm/model_executor/models/diffusion_gemma.py

DiffusionGemma 推理路径上的 softcap 与采样统计函数均涉及 torch.compile，补全 backend 参数可让平台级编译策略在这些细粒度函数上生效。

# vllm/model_executor/models/diffusion_gemma.py
# DiffusionGemma 推理路径上的小函数交由 torch.compile 编译，
# backend 统一由平台决定，方便非 inductor 平台直接受益。
​
@torch.compile(dynamic=True, backend=current_platform.simple_compile_backend)
def _softcap_logits(logits: torch.Tensor, cap: float) -> torch.Tensor:
    # 在 fp32 下先做数值稳定的 softcap，再乘回 cap，
    # 编译后可将 cast/div/tanh/mul 融合为单个 elementwise kernel
    logits = logits.float()
    return torch.tanh(logits / cap) * cap
​
@torch.compile(dynamic=True, backend=current_platform.simple_compile_backend)
def _compute_num_rejected(
    num_logits: torch.Tensor,
    num_sampled: torch.Tensor,
    query_start_loc: torch.Tensor,
) -> torch.Tensor:
    # 去噪阶段需要单独统计被拒绝的采样数量
    query_lens = query_start_loc[1:] - query_start_loc[:-1]
    num_rejected = num_logits - num_sampled
    is_denoise = (num_logits > 0) & (num_sampled == 0)
    return torch.where(is_denoise, query_lens, num_rejected)

评论区精华

该 PR 没有实质性的代码评审讨论（review_comments_count 为 0），主要讨论发生在 comment 区：

• mergify[bot] 提示 pre-commit 检查失败，要求运行 pre-commit run --all-files 修复格式，作者补充提交后解决。
• claude[bot] 指出这是 fork 分支 PR，自动 review 被禁用，需要维护者手动触发；最终由 ZJY0516 直接审批通过。

• 多次 CI 触发记录显示作者和审批者反复验证了最新 commit，流程正常。

• pre-commit 检查失败 (style): 作者后续提交了修复，CI 最终通过。

• Fork PR 自动 review 被禁用 (other): 维护者 ZJY0516 直接审批通过并合并。

风险与影响

• 风险：
  1. 平台属性依赖风险：所有改动都依赖 current_platform.simple_compile_backend 存在且返回合法后端名。若某平台未定义该属性或返回 None，传到 torch.compile 可能导致报错。当前所有平台应已定义，但新增平台时需注意。
  2. 行为一致性风险：默认平台（如 CUDA）下 simple_compile_backend 应返回 inductor，行为与之前一致；但若某平台返回非 inductor 后端，相关函数（如 _apply_mel_filters、_compiled_sample_step）的编译行为会发生变化，可能影响数值结果或性能。
  3. 测试覆盖缺失：本次改动没有新增专门测试，验证后端参数传递和平台覆盖行为的测试仍然缺失，回归风险主要依赖现有 CI。
  4. 循环依赖风险：在模型文件中新增 vllm.platforms 导入，若平台模块反向依赖模型模块，可能引入循环导入；当前 current_platform 是轻量平台抽象，风险较低。
• 影响：
  1. 对用户：默认行为完全不变，现有用户无感知。
  2. 对平台开发者：获得统一切换 torch.compile 后端的入口，TPU、XPU、CPU 等平台可以更方便地覆盖编译后端，无需逐个修改装饰器。
  3. 对代码规范：为后续新增 torch.compile 调用树立了显式传 backend 的范式，避免平台差异被硬编码。
  4. 对系统：改动面横跨音频、视觉、扩散模型和采样器，但每处改动都是机械的参数补充，整体风险较低。
     - 风险标记：依赖 simple_compile_backend 平台属性, 缺少专门测试覆盖, 涉及多模型与采样器核心路径

关联脉络

• 暂无明显关联 PR