执行摘要

• 一句话：XPU 上 GDN 注意力改走 eager，修复 Qwen3.5 图捕获乱码
• 推荐动作：值得精读，尤其适合了解 vLLM 的 breakable cudagraph 机制与自定义算子注册流程，是理解“哪些算子不能固化进图”的典型案例。若在 XPU 上运行 Qwen3.5 等混合模型并开启 breakable cudagraph，建议合入该修复。未来可关注是否有补充回归测试的后续 PR。

功能与动机

PR 描述指出，当启用 breakable cudagraph 时，Qwen3.5 在 XPU 上产生 garbage output。根因是 GDN 循环注意力代码使用 data-dependent 元数据就地读写 conv 与 ssm 状态缓存，捕获时的状态寻址被冻结进图，回放时损坏循环状态。提交信息进一步说明混合模型如 Qwen3.5-9B 因此输出乱码。修复目标是让 gdn_attention_core_xpu 在捕获期间作为 eager break 运行，保持运行时寻址正确。

实现拆解

1. 在 vllm/_xpu_ops.py 中新增导入 from vllm.compilation.breakable_cudagraph import eager_break_during_capture，引入 eager break 包装工具。
2. 在注册 XPU 自定义算子 gdn_attention_core_xpu 时，将 op_func 由 _gdn_attention_core_xpu_impl 改为 eager_break_during_capture(_gdn_attention_core_xpu_impl)，使该算子作为 eager break 执行，不再被固化进 breakable cudagraph 图。
3. 该改动未新增测试或配置配套，依赖现有 XPU CI（Buildkite CI #83513）与人工验证。

关键文件：

• vllm/_xpu_ops.py（模块 XPU 算子；类别 source；类型 dependency-wiring；符号 gdn_attention_core_xpu, eager_break_during_capture）: 这是本 PR 唯一修改的文件，负责 XPU 自定义算子的注册。改动核心是把 gdn_attention_core_xpu 的实现函数用 eager_break_during_capture 包装，使其在 breakable cudagraph 捕获期间以 eager 方式执行，直接解决状态寻址被固化导致的乱码问题。

关键符号：_gdn_attention_core_xpu_impl, eager_break_during_capture

关键源码片段

vllm/_xpu_ops.py

这是本 PR 唯一修改的文件，负责 XPU 自定义算子的注册。改动核心是把 gdn_attention_core_xpu 的实现函数用 eager_break_during_capture 包装，使其在 breakable cudagraph 捕获期间以 eager 方式执行，直接解决状态寻址被固化导致的乱码问题。

# 导入 eager_break_during_capture，用于在 cudagraph 捕获期间打断并转为 eager 执行
from vllm.compilation.breakable_cudagraph import eager_break_during_capture
​
# 注册 XPU 的 GDN 循环注意力核心算子
direct_register_custom_op(
    op_name="gdn_attention_core_xpu",
    # 用 eager_break_during_capture 包装实现：
    # 该算子使用 data-dependent 元数据就地读写 conv / ssm 状态缓存，
    # 若固化进 breakable cudagraph，重放时寻址信息与运行时状态不一致，
    # 会损坏循环状态，导致 Qwen3.5 等混合模型输出乱码。
    op_func=eager_break_during_capture(_gdn_attention_core_xpu_impl),
    mutates_args=["core_attn_out", "z"],
    fake_impl=_gdn_attention_core_xpu_fake,
)

评论区精华

Review 无实质技术交锋：Claude 自动 review 因 fork 被禁用，维护者 jikunshang 触发 CI 后直接 approve，未对设计方案提出质疑。

• 暂无高价值评论线程

风险与影响

• 风险：性能风险：被 eager_break_during_capture 包装后，gdn_attention_core_xpu 将不会进入 cudagraph 捕获，XPU 上 GDN 注意力解码部分的图优化收益可能回退，需关注 Qwen3.5 等模型的吞吐变化。
  适用范围：修改仅针对 XPU 的 gdn_attention_core_xpu 算子，NVIDIA 等平台类似 GDN 循环状态问题需单独验证（PR 标签含 nvidia，但代码路径限定在 XPU）。
  缺少测试覆盖：未新增回归测试，若未来 breakable cudagraph 行为或 eager_break_during_capture 语义变化，修复可能失效且无测试兜底。
  兼容性：该包装与 direct_register_custom_op 的 mutates_args、fake_impl 等机制的协同效果未在多种编译模式下验证。

• 影响：直接影响 XPU 上启用 breakable cudagraph 的混合模型（如 Qwen3.5-9B），修复生成乱码，提升用户可见正确性。
  影响范围限于 GDN 注意力路径，对其他模型与平台影响很小。
  对团队而言，提供了一个自定义算子嵌入 eager break 的范例，后续类似需要规避图捕获的算子可复用该模式。
  改动仅 3 行，回归面小，CI 验证成本低。

• 风险标记：缺少测试覆盖, XPU 专项修复, 潜在性能回退, 依赖 eager_break 语义

关联脉络

• PR #51913 [Attention] Move context_lens_tensor compute into GDN prefill path: 同属 GDN 注意力模块的改动，一个做 prefill 路径性能优化，一个修复 XPU 上图捕获正确性，反映 GDN 注意力在 vLLM 中的持续演进。
• PR #51865 [Bugfix][MRV2] Require all requests to be decoding for uniform-decode dispatch: 同为 cudagraph 捕获/回放正确性主题，一个通过校验批状态避免图误重放，一个通过 eager break 规避不自洽算子，共同完善 vLLM 图捕获的健壮性。