执行摘要

• 一句话：TRTLLM MHA 后端支持 overlap plan stream
• 推荐动作：该 PR 改动极小，但反映了 overlap plan stream 调度架构对不同 attention 后端的接口要求。值得关注的是接口设计的一致性问题：如果未来其他后端也需要支持 overlap，应考虑在基类中添加抽象方法或默认空实现。建议精读相关调度器代码，了解 update_verify_buffers_to_fill_after_draft 的调用路径。

功能与动机

TRTLLM MHA 内核的验证机制基于 q_len_per_req 因果注意力，而非 tree masks。其 verify 元数据（seq_lens、page_table、cu_seqlens）不依赖 draft tokens，已由 plan stream 正确计算，无需 fix-up。因此需要提供一个空实现的 update_verify_buffers_to_fill_after_draft 方法，以适配 overlap plan stream 调度框架的接口要求。

实现拆解

1. 在 trtllm_mha_backend.py 中新增空方法：在 TRTLLMHAAttnBackend 类中定义 update_verify_buffers_to_fill_after_draft(self, spec_info, cuda_graph_bs)，方法体为 pass。
2. 不修改其他任何文件：由于该方法语义上不需要执行任何操作，无需改动父类或其他后端实现。

关键文件：

• python/sglang/srt/layers/attention/trtllm_mha_backend.py（模块 注意力层；类别 source；类型 core-logic；符号 update_verify_buffers_to_fill_after_draft）: 核心变更文件，新增 update_verify_buffers_to_fill_after_draft 空方法以适配 overlap plan stream。

关键符号：update_verify_buffers_to_fill_after_draft

关键源码片段

python/sglang/srt/layers/attention/trtllm_mha_backend.py

核心变更文件，新增 update_verify_buffers_to_fill_after_draft 空方法以适配 overlap plan stream。

# python/sglang/srt/layers/attention/trtllm_mha_backend.py
# 新增的方法：TRTLLM MHA 内核通过 q_len_per_req 因果注意力进行验证，
# 所有 verify 元数据（seq_lens、page_table、cu_seqlens）都与 draft 无关，
# 且已由 plan stream 正确计算，因此无需任何 fix-up 逻辑。
​
def update_verify_buffers_to_fill_after_draft(
    self, spec_info: SpecInput, cuda_graph_bs: Optional[int]
):
    # 空实现：不需要对 verify 缓冲区做任何修改，避免不必要的 GPU 操作
    pass

评论区精华

gemini-code-assist[bot] 指出：新增方法 update_verify_buffers_to_fill_after_draft 在 TRTLLMHAAttnBackend 中添加，但其父类 FlashInferAttnBackend 以及其他后端可能缺失该接口，若 overlap scheduler 期望所有 attention 后端都有此方法，则使用其他后端时可能运行时崩溃。建议在基类或 FlashInferAttnBackend 中也添加空实现。然而，此建议未被采纳，PR 作者未回复，审核者 Qiaolin-Yu 依然批准了 PR。这暗示目前只有 TRTLLM MHA 后端需要参与 overlap plan stream，或者接口调用路径有所保护。

• 接口一致性：其他后端缺少 update_verify_buffers_to_fill_after_draft (design): PR 作者未回复此评论，审核者 Qiaolin-Yu 仍批准了 PR。表示当前仅 TRTLLM MHA 后端需要此方法，或调用路径有保护。

风险与影响

• 风险：
  1. 接口不一致风险：其他 attention 后端（如 FlashInferAttnBackend）未实现 update_verify_buffers_to_fill_after_draft，如果调度器在非 TRTLLM MHA 后端上调用此方法，会导致 AttributeError。不过当前 PR 仅针对 TRTLLM MHA 后端，且调用时机可能受条件限制，但潜在风险未完全消除。
  2. 回归风险低：新增空方法不修改现有逻辑，不影响原有功能。
• 影响：
  1. 用户层：无直接可见影响，仅内部调度行为变化。启用 overlap plan stream 时，TRTLLM MHA 后端不再需要额外的 fix-up 步骤，提高效率。
  2. 系统层：完善 overlap plan stream 对 TRTLLM MHA 后端的支持，为后续更多后端支持 overlap 打下基础。
  3. 团队协作：需注意接口一致性，后续可能需要在基类中声明此方法以避免遗漏。
     - 风险标记：接口不一致风险, 缺少其他后端的空实现

关联脉络

• PR #26134 [refactor] unify cuda-graph capture/replay across attention backends: 同样涉及 attention 后端接口统一化，反映了 attention 后端的持续重构。
• PR #26129 compile _resolve_spec_extras gather kernels: 也涉及 speculative decoding 的优化，与 overlap plan stream 相关的性能改进。