执行摘要

• 一句话：修复 Gemma4 注意力后端用户覆盖失效
• 推荐动作：
  1. 值得精读：展示了如何在配置系统中正确处理“默认 vs 用户覆盖”的惯用模式。
  2. 设计决策：使用 is_attention_backend_not_set() 作为守卫，配合分拆后端的回退逻辑，是健壮的配置覆盖模式。
  3. 值得关注的点：AI 审查助手发现的分拆后端场景是一个常见的陷阱，值得在类似配置逻辑中推广。

功能与动机

用户指定的 --attention-backend 被 Gemma4 模型初始化逻辑无条件覆盖，导致用户无法自主选择注意力后端。PR#25006 引入此问题，本 PR 作为后续修正。

实现拆解

1. 在 _handle_model_specific_adjustments() 中对 Gemma4ForConditionalGeneration 分支，将无条件赋值改为条件赋值：先计算 default_attention_backend（根据 is_sm100_supported() 选择 trtllm_mha 或 triton），然后仅在 is_attention_backend_not_set() 返回 True 时赋值并记录日志。
2. 处理用户仅设置分拆后端标志（--prefill-attention-backend 或 --decode-attention-backend）的情况：当 self.attention_backend 为 None 时，将其设为默认后端，防止后续通用后端选择逻辑选中不支持的 flashinfer 等后端。
3. 引入全面的后端校验：获取实际的 prefill 和 decode 后端（get_attention_backends()），断言两者均在 ("trtllm_mha", "triton") 中，并给出清晰的错误消息。

关键文件：

• python/sglang/srt/server_args.py（模块 配置管理；类别 source；类型 core-logic；符号 _handle_model_specific_adjustments）: 唯一的变更文件，修改了 Gemma4 模型的注意力后端选择逻辑，包含条件和断言变更。

关键符号：_handle_model_specific_adjustments

关键源码片段

python/sglang/srt/server_args.py

唯一的变更文件，修改了 Gemma4 模型的注意力后端选择逻辑，包含条件和断言变更。

def _handle_model_specific_adjustments(self):
    # ... previous branches for other models ...
    elif model_arch == "Gemma4ForConditionalGeneration":
        # 计算默认注意力后端：sm100 优先 trtllm_mha，否则 triton
        default_attention_backend = (
            "trtllm_mha" if is_sm100_supported() else "triton"
        )
        # 只在用户未显式设置时才覆盖默认值
        if self.is_attention_backend_not_set():
            self.attention_backend = default_attention_backend
            logger.info(
                f"Use {self.attention_backend} as default attention backend for Gemma4"
            )
        else:
            # 如果用户只设置了分拆后端（--prefill-/--decode-），
            # self.attention_backend 可能为 None，此时回退到默认后端
            # 防止后续通用选择逻辑拾取不支持的后端
            if self.attention_backend is None:
                self.attention_backend = default_attention_backend
​
        # 获取实际的 prefill 和 decode 后端并校验
        prefill_backend, decode_backend = self.get_attention_backends()
        accepted_backends = ("trtllm_mha", "triton")
        assert (
            prefill_backend in accepted_backends
            and decode_backend in accepted_backends
        ), (
            "Gemma4 only supports trtllm_mha or triton attention backend, "
            f"got prefill={prefill_backend}, decode={decode_backend}"
        )
    # ... subsequent branches for other models ...

评论区精华

AI 代码审查助手 gemini-code-assist[bot] 发现了一个高优先级问题：当用户只设置 --prefill-attention-backend 或 --decode-attention-backend 而未设置 --attention-backend 时，is_attention_backend_not_set() 返回 False，但 self.attention_backend 仍为 None，导致断言 None in ("trtllm_mha", "triton") 失败。审查者建议使用 get_attention_backends() 进行更安全的校验。开发者在后续提交中采纳了此建议，重构了校验逻辑。最终提交者 Fridge003 批准了本 PR。

• 分拆后端标志导致断言失败 (correctness): 开发者在第二次提交中采纳建议，通过 get_attention_backends() 获取实际后端并校验，同时增设 None 回退逻辑。

风险与影响

• 风险：变更集中在单个文件 python/sglang/srt/server_args.py 的 Gemma4 分支，影响面窄。主要风险在于用户自定义后端的验证路径：之前 self.attention_backend 被硬覆盖时不会报错，现在如果指定了不受支持的后端（如 flashinfer）会触发断言中止启动。但这是预期行为——用户会收到清晰的错误消息。没有回归、性能或兼容性风险。

• 影响：用户：Gemma4 用户现在可以自由选择 trtllm_mha 或 triton 注意力后端，之前用户指定的后端会被无声覆盖。
  系统：仅影响 Gemma4 模型的初始化路径，其他模型（如 Gemma2/3、Llama4、Exaone、Olmo2 等）不受影响。
  团队：修复了一个用户可见的 bug，提升了配置透明度和控制力。

• 风险标记：配置覆盖, 用户可见行为变更

关联脉络

• PR #25006 Add Gemma3n & Gemma4 and infer the attention backend for Gemma4: 本 PR 修复了 PR#25006 引入的默认后端覆盖用户设置的问题。