执行摘要

该PR修复了NPU后端Eagle3推测解码中草稿步序列长度未更新的问题，通过修改注意力后端和图运行器逻辑，提升接受率和推理性能，影响范围局限于NPU Eagle3功能。

功能与动机

PR body明确指出：'The previous NPU Eagle3 implementation didn't update the sequence lengths for each draft step. This PR fixes that issue.' 动机是纠正序列长度管理错误，以确保Eagle3推测解码在NPU上的准确性。附带的准确性和性能测试对比图显示修复后接受率提升和延迟降低。

实现拆解

实现涉及两个关键文件：

• python/sglang/srt/hardware_backend/npu/attention/ascend_backend.py：
  • 在AscendAttnBackend.__init__中新增speculative_step_id参数，并初始化NPU张量偏移。
  • 在init_forward_metadata和init_forward_metadata_replay_cuda_graph方法中添加条件逻辑，根据草稿步ID更新序列长度。例如：
    

    if forward_batch.forward_mode.is_decode_or_idle() and forward_batch.spec_info is not None:
        seq_lens_max += self.speculative_step_id + 1
    

• python/sglang/srt/hardware_backend/npu/graph_runner/eagle_draft_npu_graph_runner.py：
  • 修改_replay方法，为每个草稿步计算序列长度列表，传递到_replay_update。例如：
    

    seq_lens_for_each_draft_step = []
    for speculative_step_id in range(self.speculative_num_steps - 1):
        seq_lens_cpu = forward_batch.seq_lens_cpu + speculative_step_id + 1
        seq_lens = seq_lens_cpu.tolist() + [0] * (self.bs - self.raw_bs)
        seq_lens_for_each_draft_step.append(seq_lens)
    

评论区精华

Review讨论中无实质技术交锋，reviewer 'iforgetmyname'直接批准。Issue评论显示团队关注代码格式和CI测试：

• 'xiaobaicxy'评论：'please run pre-commit'
• 作者和'sglang-npu-bot'多次使用/rerun-failed-ci命令触发测试，表明团队重视测试通过性，但未深入讨论实现细节。

风险与影响

风险：

1) 修改了注意力后端核心路径（如init_forward_metadata），条件逻辑错误可能导致序列长度计算错误，影响非推测解码模式。
2) 图运行器变更可能引入性能回归，若草稿步数处理不当。
3) 缺少单元测试，仅依赖CI和基准测试，回归风险较高。
影响：对用户而言，NPU Eagle3接受率提升，推理性能改善；对系统仅影响NPU后端，范围可控；团队需确保后续变更兼容并扩展测试覆盖。

关联脉络

从历史PR分析看，本PR与#21468（NPU文档更新）同属NPU优化脉络，反映团队持续改进NPU支持。与#21404（缓存泄漏修复）类似，均为bugfix PR，涉及核心路径风险管理，可借鉴测试和验证策略。整体上，SGLang仓库近期多关注硬件后端优化（如NPU、AMD）和推测解码功能，本PR是此趋势的一部分。