执行摘要

• 一句话：DFLASH verify 发布 read_done 事件加速 WAR
• 推荐动作：值得精读，特别是对理解 CUDA graph 流水线、WAR barrier 机制以及 DFLASH speculative decoding 实现有兴趣的开发者。该 PR 展示了如何通过发布细粒度事件优化 GPU 流水线重叠。

功能与动机

此 PR 构建于 #29556（移除 verify_done 自栅栏）之上，旨在通过细粒度的 read_done 事件替代粗粒度的 wait_stream 回退，进一步提升 DFLASH 流水线重叠度。PR body 详细论证了 TARGET_VERIFY 的 CUDA graph 在 load_batch（pre-replay）构建页表后，replay 仅读取静态快照，因此 forward 在 replay 之前已完成对共享 req_to_token/SWA 缓冲区的读取，此时发布 read_done 是合理的。

实现拆解

1. 修改发布条件：在 decode_cuda_graph_runner.py 的 execute 方法中，将 read_done 事件的发布条件从 forward_batch.forward_mode.is_decode() 扩展为 is_decode() 或（is_target_verify() 且 spec_algorithm.is_dflash()）。
2. 移除旧注释：移除原来仅对 plain DECODE 发布 read_done 的限制性注释，更新为描述同时适用于 plain DECODE 和 DFLASH TARGET_VERIFY 的新注释。
3. 依赖关系：此 PR 依赖 #29556（已合并），后者移除了 DFLASH 的 verify_done 自栅栏并路由 DFLASH 通过 _apply_war_barrier。WAR 顺序通过 prepare_for_decode 中的 plan_stream.wait_stream(schedule_stream) 传递依赖，无需额外显式等待。

关键文件：

• python/sglang/srt/model_executor/runner/decode_cuda_graph_runner.py（模块 解码器；类别 source；类型 data-contract）: 核心变更文件，修改了 read_done 事件的发布条件，影响 DFLASH verify 路径的 WAR barrier 粒度。

关键符号：execute

关键源码片段

python/sglang/srt/model_executor/runner/decode_cuda_graph_runner.py

核心变更文件，修改了 read_done 事件的发布条件，影响 DFLASH verify 路径的 WAR barrier 粒度。

def execute(
    self,
    forward_batch: ForwardBatch,
    pp_proxy_tensors: Optional[PPProxyTensors] = None,
) -> Union[LogitsProcessorOutput, PPProxyTensors]:
    timer_ctx = (
        self.model_runner.device_timer.wrap(
            metadata={"category": forward_batch.forward_mode.name.lower()}
        )
        if self.model_runner.device_timer
        else contextlib.nullcontext()
    )
    with timer_ctx, self.backend.replay_session():
        self.load_batch(forward_batch, pp_proxy_tensors)
        # Publish a read-done event for the WAR barrier: a cuda-graph forward
        # finishes its shared req_to_token / SWA reads at this pre-replay
        # snapshot, so plain DECODE and DFLASH TARGET_VERIFY both qualify.
        if forward_batch.forward_mode.is_decode() or (
            forward_batch.forward_mode.is_target_verify()
            and self.model_runner.spec_algorithm.is_dflash()
        ):
            read_done = self.device_module.Event()
            read_done.record()
            self.model_runner.war_fastpath_read_done_event = read_done
        output = self.backend.replay(self._replay_graph_key, forward_batch)
        # ... 后续处理逻辑不变 ...

评论区精华

无 review 讨论。作者在 PR body 中详细论证了发布 read_done 的正确性：TARGET_VERIFY 的 CUDA graph 在 load_batch（pre-replay）构建页表，replay 仅读取该静态快照，因此 forward 在 replay 开始前已完成对共享缓冲区的读取；同时通过 WAR 链说明写入顺序已有保障。

• 暂无高价值评论线程

风险与影响

• 风险：风险较低。只修改了一个条件判断，逻辑清晰，且作者已通过 rerun-test 验证了三个相关测试（test_dflash.py、test_pcg_with_speculative_decoding_dflash.py、test_gemma4_dflash_31b_extra.py）在 1-GPU-5090 和 2-GPU-H100 上均通过。但缺少新增针对该具体行为的测试。
• 影响：影响范围局限于 DFLASH speculative decoding 路径，对非 DFLASH 场景无影响。性能上预期能提升 DFLASH 场景的调度器流水线重叠度，降低端到端延迟。
• 风险标记：缺少新增测试

关联脉络

• PR #29556 dflash: drop verify_done barrier; rely on scheduler WAR fallback: 此 PR 的前置依赖，移除了 DFLASH verify_done 自栅栏并路由 DFLASH 通过全局 _apply_war_barrier。
• PR #29343 [dflash] fa3/fa4: device-side page table; drop seq_lens_cpu D2H sync: 相关 DFLASH 性能优化 PR，但此 PR 独立于它。