执行摘要

• 一句话：按 runner 选择 DSV4 eager 区域，修复 MRV1 并恢复 ROCm 默认
• 推荐动作：值得精读。PR 展示了比配置层"一刀切拒绝"更优雅的解法：把 runner 差异下沉到模型层，用函数指针选择 eager region，既保住 CUDA 的 TTFT 优化，又恢复 ROCm 的 MRV1 性能。对理解 vLLM 的 piecewise cudagraph 捕获机制（eager_break_during_capture、_capturing 时序）很有价值。需要留意的长期风险是函数指针间接层与配置兜底的移除。

功能与动机

PR #51430 为缩短 TTFT 收窄了 DeepSeek V4 的 eager cudagraph region，但这破坏了 MRV1：注意力输入准备被留在 captured graph 中，MRV1 产生垃圾输出。#51768 的应对（默认 MRV2 + 拒绝 MRV1 + PIECEWISE）在 CUDA 上可行，但在 ROCm 上代价高昂，PR body 原话："That default costs ROCm, where MRV1 is still the faster runner for this model." 目标是在不牺牲 ROCm 性能的前提下，让 MRV1 + PIECEWISE 在所有平台都正确。

实现拆解

1. 注意力层按 runner 选择 eager region：vllm/models/deepseek_v4/attention.py 的 __init__ 中新增 _prepare_and_attn_fn 函数指针字段，默认指向 _prepare_and_attn；当 use_v2_model_runner 为 False 时改指向新增的 _prepare_and_attn_eager。这样 MRV2 沿用窄 region（输入准备留在 captured graph，TTFT 更短），MRV1 恢复 PR #51430 之前的宽 region。
2. forward 重构：把原本内联在 forward 中的注意力主体（从 get_forward_context().attn_metadata 到 _sparse_indexer_and_attn 调用）抽取为独立方法 _prepare_and_attn，forward 统一调用 self._prepare_and_attn_fn(...)。新增的 _prepare_and_attn_eager 带 @eager_break_during_capture 装饰器，内部直接委托给 _prepare_and_attn，实现整段 eager；嵌套的 _sparse_indexer_and_attn break 会内联执行，因为 add_eager 在调用前已清除 _capturing。
3. 配置层删除拒绝逻辑：vllm/config/vllm.py 删除 MRV1_UNSUPPORTED_PIECEWISE_CUDAGRAPH_ARCHITECTURES 常量、_validate_mrv1_piecewise_cudagraph 方法及其在 post_init 中的调用点，MRV1 + PIECEWISE 不再被配置层拦截。
4. ROCm 默认 runner 回退：default_v2_model_runner_architectures() 增加 current_platform.is_rocm() 分支，ROCm 上从默认集合中剔除 DeepseekV4ForCausalLM，并附 TODO 注释说明这只是性能默认，待 MRV2 在 ROCm 追平后移除。函数内延迟导入 current_platform 以避免模块级平台依赖。
5. 测试配套：tests/test_config.py 删除旧的"拒绝 MRV1 + PIECEWISE"与"允许组合"两组参数化测试；新增 test_rocm_defaults_deepseek_v4_to_mrv1 验证 ROCm 上 DSV4 不在默认 MRV2 集合；test_is_default_v2_model_runner_model 增加 monkeypatch 固定非 ROCm 平台并清理 lru_cache，保证平台无关断言不被打扰。

关键文件：

• vllm/models/deepseek_v4/attention.py（模块 模型层；类别 source；类型 core-logic；符号 _prepare_and_attn_eager, _prepare_and_attn）: 核心修复文件：新增 _prepare_and_attn_eager 并按 use_v2_model_runner 选择函数指针，恢复 MRV1 所需的宽 eager region，同时抽取 _prepare_and_attn 供 MRV2 使用窄 region。
• vllm/config/vllm.py（模块 配置层；类别 source；类型 configuration；符号 default_v2_model_runner_architectures, _validate_mrv1_piecewise_cudagraph）: 配置层配套调整：删除 MRV1 + PIECEWISE 拒绝逻辑，并让 ROCm 平台将 DeepSeek V4 从默认 MRV2 架构集合中剔除，恢复 MRV1 默认。
• tests/test_config.py（模块 配置测试；类别 test；类型 test-coverage；符号 test_rocm_defaults_deepseek_v4_to_mrv1, test_is_default_v2_model_runner_model）: 测试配套调整：删除被废弃的拒绝/允许参数化测试，新增 ROCm 默认 MRV1 的验证，并为平台无关测试固定 is_rocm 与清理 lru_cache。

关键符号：_prepare_and_attn_eager, _prepare_and_attn, default_v2_model_runner_architectures

关键源码片段

vllm/config/vllm.py

配置层配套调整：删除 MRV1 + PIECEWISE 拒绝逻辑，并让 ROCm 平台将 DeepSeek V4 从默认 MRV2 架构集合中剔除，恢复 MRV1 默认。

# 默认使用 V2 model runner 的架构集合（平台无关基线）。
DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES = frozenset({
    "DeepseekV2ForCausalLM",
    "DeepseekV4ForCausalLM",
    "GraniteMoeForCausalLM",
    "InklingForCausalLM",
    "InklingForConditionalGeneration",
    "KimiK3ForConditionalGeneration",
    "LongcatFlashNgramForCausalLM",
    "Qwen2MoeForCausalLM",
})
​
@lru_cache
def default_v2_model_runner_architectures() -> frozenset[str]:
    """返回当前平台默认使用 V2 model runner 的架构集合。
​
    ROCm 上剔除 DeepSeek V4：MRV1 在该平台仍是更快的 runner，且 attention
    层会按 runner 选择正确的 eager cudagraph region，因此这只是一个性能
    默认，不影响正确性。
    """
    from vllm.platforms import current_platform
​
    if current_platform.is_rocm():
        # TODO(rocm): DeepSeek V4 在 ROCm 上仍由 MRV1 更快；attention 层已
        # 按 runner 选择 eager region，可安全回退。待 MRV2 在 ROCm 追平后删除。
        return DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES - {"DeepseekV4ForCausalLM"}
    return DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES

评论区精华

本 PR 的 review 区没有实质技术交锋：claude[bot] 因 fork 来源自动跳过审查，WoosukKwon 直接 APPROVED 且无评论。关键设计取舍记录在 PR body 与代码注释中：作者明确解释了为何嵌套 break 可以内联执行（add_eager 先清 _capturing），以及 ROCm 回退 MRV1 只是性能默认、正确性由注意力层保障。第二个提交 fix amd test 表明作者在 CI 中主动修正了 ROCm 测试的断言方式，说明 AMD 测试路径曾被重点验证。

• 暂无高价值评论线程

风险与影响

• 风险：
  • 依赖框架捕获行为：_prepare_and_attn_eager 的正确性依赖 add_eager 在调用前清除 _capturing 这一隐含契约，若框架改变捕获时序，宽 region 的语义会静默失效。
  • 平台分叉默认：ROCm 与 CUDA 的默认 runner 不同（ROCm 用 MRV1），这是带 TODO 的性能临时决策，若后人移除 TODO 分支时未同步回归测试，可能再次引入平台差异。
  • lru_cache 与平台耦合：default_v2_model_runner_architectures 以 @lru_cache 缓存且依赖 current_platform，异构环境或平台探测变化时可能读到过期默认（测试已通过 cache_clear 规避，生产环境风险较低）。
  • 删除配置层兜底：_validate_mrv1_piecewise_cudagraph 移除后，如果未来其他架构在 MRV1 下出现类似 region 不匹配，配置层不再有拒绝保护。
  • 函数指针间接层：_prepare_and_attn_fn 是实例属性，若后续有人直接在 forward 中调用 _prepare_and_attn 绕过该字段，会重新踩中 MRV1 损坏问题。
• 影响：
  • 用户/平台：CUDA 上 DeepSeek V4 仍默认 MRV2，行为与 PR #51768 后一致；ROCm 上默认回退 MRV1，恢复该平台的推理性能；所有平台上显式使用 MRV1 + PIECEWISE 从"报错拒绝"变为"可用且正确"。
  • 系统：改动集中在 DeepSeek V4 注意力层、全局配置验证和一条 lru_cache 平台分支，不触及 KV 缓存、调度等模块，回归面有限。
  • 团队：3 个文件、96 行新增 / 66 行删除，范围克制；但 _prepare_and_attn 的抽取改变了 DeepSeek V4 attention 的方法结构，后续依赖该模型 attention 内联逻辑的改动需要同步适配。
  • 风险标记：核心路径变更, 依赖捕获时序契约, 平台分叉默认, lru_cache 平台耦合, 配置兜底移除

关联脉络

• PR #51430 Narrow the DeepSeek V4 eager cudagraph region（PR #52401 body 提及，标题为内容复原）: 本 PR 的修复对象：其收窄 eager region 导致 MRV1 输出损坏。
• PR #51768 Default DeepSeek V4 to MRV2 and reject MRV1 + PIECEWISE（PR #52401 body 提及，标题为内容复原）: 本 PR 撤销其配置层拒绝逻辑，并保留 CUDA 默认 MRV2 的决策。
• PR #52492 [Bugfix][DSv4] Keep indexer scoring in breakable graphs: 同文件 vllm/models/deepseek_v4/attention.py 的后续修复，共同完善 DSV4 在 breakable CUDA graph 下的路径。
• PR #52550 [Config] Unify indexer cache dtype under attention_config.indexer_kv_dtype: 同为 DeepSeek V4 配置与注意力层的演进，显示 DSV4 的 cudagraph/config 体系正在持续收敛。