执行摘要
- 一句话：收窄 DeepSeek V4 eager CUDA graph 区域，TTFT 降 53.7%
- 推荐动作：值得精读，尤其是 eager/CUDA graph 区域划分、辅助流并行和数据契约清理的设计。对于要优化自家模型图捕获边界的工程师有参考价值。
功能与动机
PR body 说明目标是把注意力输入准备保留在 CUDA graph 捕获内，避免每次迭代在 eager 断点重复执行矩阵运算；此前一次收窄因真实模型输出破坏被 revert，因此本版刻意保留 forward_mqa 与稀疏 indexer 共处 eager 区域，并使用 persistent eager scratch workspaces 稳定地址。性能数据显示短前缀 TTFT 大幅下降。
实现拆解
- 重新划分 eager/captured 边界：将
attn_gemm_parallel_execute 重命名为 _run_parallel_input_projections，并把原先属于 attention_impl 的 wq_b_kv_insert 逻辑内联为 forward 中的 project_query_and_cache_kv 闭包，使 Q 上投影与 KV 插入发生在图捕获段。
- 收窄 eager 断点：
@eager_break_during_capture 方法由 attention_impl 改为 _sparse_indexer_and_attn，内部只执行 self.indexer.indexer_op(...) 与 self.forward_mqa(...)。
- 保持流并行：默认流执行 Q 投影/KV 插入，辅助流 0/1 分别跑 indexer 与 MLA compressor，辅助流 2 由 indexer 内部复用；ROCm 无辅助流时顺序执行。
- 清理数据契约：
DeepseekIndexer.forward 返回类型改为 tuple[torch.Tensor | None, torch.Tensor | None, torch.Tensor | None]，短路路径返回 (None, None, None)，调用侧改为 (q_quant, weights), _ = ...。
- 配套调整：amd/nvidia 的
model.py 仅更新注释；未新增测试文件，运行了 tests/v1/cudagraph/test_breakable_cudagraph.py 与真实模型 GSM8K 评估。
关键文件：
vllm/models/deepseek_v4/attention.py（模块 注意力层；类别 source；类型 data-contract；符号 project_query_and_cache_kv, _run_parallel_input_projections, _sparse_indexer_and_attn, attn_gemm_parallel_execute）: 核心变更文件：重排 eager/captured 边界、新方法拆解与数据契约更新都在这里。vllm/models/deepseek_v4/amd/model.py（模块 模型层；类别 source；类型 data-contract）: 仅更新注释引用新方法名 _run_parallel_input_projections，无逻辑变化。vllm/models/deepseek_v4/nvidia/model.py（模块 模型层；类别 source；类型 data-contract）: 仅更新注释引用新方法名 _run_parallel_input_projections，无逻辑变化。
关键符号：project_query_and_cache_kv, _run_parallel_input_projections, _sparse_indexer_and_attn, DeepseekIndexer.forward
评论区精华
没有实质 review 讨论。评论仅包含 /ci run 触发指令与 Buildkite 自动确认，以及 Claude bot 的自动提醒。决策依据集中在 PR body 的性能数据和设计说明。
风险与影响
- 风险：回归风险：此前一次收窄因真实模型输出破坏被 revert，本 PR 通过保留
forward_mqa 为 eager 并使用 persistent eager scratch workspaces 缓解，但注意力路径仍是核心路径。测试缺口：PR 未附带新单元测试，仅运行既有 cudagraph 测试和一次真实模型评估，覆盖有限。平台差异：ROCm 无辅助流走顺序回退，收益主要在 NVIDIA。数据契约变化：DeepseekIndexer.forward 返回值从张量改为三元组，调用方已同步，但外部代码若按旧契约使用可能出错。
- 影响：影响范围集中在 DeepSeek V4 模型（含 MTP2、FP8 KV cache、FP4 indexer cache 等配置），主要改善短前缀 TTFT；请求吞吐量微增。对 NVIDIA 收益明显，ROCm 走顺序回退，收益待确认。无 API 或前端影响。
- 风险标记：核心路径变更, 缺少专项测试文件, 回归历史（先前被 revert）
关联脉络
- PR #51425 DeepSeek V3.2 eager CUDA graph 区域收窄（PR body 提及）: PR body 明确指出本 PR 是其 V4 对应实现，采用相同的区域边界策略但保留 V4 注意力执行边界。
参与讨论