执行摘要

• 一句话：交换双流 MoE 中主/备流分工，路由专家改在主流执行
• 推荐动作：值得精读，特别是对 CUDA 双流调度和 MoE 执行优化的团队。设计决策清晰（流 assignment 的权衡），且有 profile 数据支撑。建议关注 torch.compile 兼容性风险。

功能与动机

PR #27720 本意是交换双流执行顺序使路由专家在主流运行，但只有 deferred-finalize 部分合入，forward_normal_dual_stream 仍是共享专家在主流、路由专家在备流，与 tokenspeed 优化目标相反，profile 可见路由专家在 side stream 闲置。

实现拆解

1. 移除共享专家的先行执行：在函数入口处，将原先在主流调用 _forward_shared_experts 的代码删除，转而将共享专家的计算移至 alt_stream 块内。
2. 路由专家逻辑前移至主流：gate/topk/experts（及 forward_deferred_finalize）不再包裹在 with torch.cuda.stream(self.alt_stream): 中，直接在主流执行。
3. 调整 deferred_finalize 条件：由于共享输出尚未计算，将 shared_output is not None 替换为 hidden_states.shape[0] > 0 and self.num_fused_shared_experts == 0。
4. 保持同步机制：alt_stream.wait_stream(current_stream) 仍用于确保备流等待主流就绪，current_stream.wait_stream(alt_stream) 保持主流等待备流完成共享专家计算。
5. 整合主分支变更：合并了来自 main 分支的 use_flashinfer_trtllm_bypass 路径，解决 merge conflict。

关键文件：

• python/sglang/srt/models/deepseek_v2.py（模块 模型层；类别 source；类型 core-logic；符号 forward_normal_dual_stream, DeepseekV2MoE.forward_normal_dual_stream）: 核心变更文件：重排双流 MoE 中主流和备流的执行顺序，将路由专家移至主流执行，共享专家移至备流执行。

关键符号：forward_normal_dual_stream, _forward_shared_experts

评论区精华

Gemini Code Assist 的安全审查：指出若 experts 为 in-place 操作，会与 alt_stream 同时读 hidden_states 导致数据竞争，建议添加 assert 和 record_stream。作者分析 CI 失败：发现在 --enable-torch-compile 下 torch.compile 擦除 alt_stream 上下文，暴露出 in-place 危险，但该失败是主线已有问题（与 PR 无关）。最终 CI 全绿。

• In-place 安全性与流内存管理 (correctness): 作者承认风险，并在后续评论中分析了 torch.compile 下的触发条件；最终 PR 未添加额外保护，但认为在 CUDA graph 模式下安全。
• CI 失败根因分析：torch.compile 抹除 alt_stream 上下文 (testing): 该失败同样出现在 main 分支，与 PR 变更无关；CI 最终全绿通过。

风险与影响

• 风险：数据竞争风险：若 MoE runner 配置为 in-place 运行，hidden_states 将在主流被修改，而 alt_stream 同时读取它。当前在 CUDA graph 捕获下是安全的（graph 保留每核流归属），但 torch.compile 可能破环此保证。torch.compile 兼容性：双流模式下 --enable-torch-compile 可能导致 alt_stream 上下文丢失，应避免同时使用。性能退化：alt_stream 上的共享专家计算可能因流竞争而变慢，但 profile 显示净收益。
• 影响：用户影响：受益模型（如 Kimi-K2.5 NVFP4，256 expert 但使用 shared experts fusion 的 DeepSeek-V3 不受影响）在 dual-stream 路径上获得约 1% 端到端性能提升。系统影响：无外部接口或配置变化。团队影响：需警惕 torch.compile 下的潜在问题。
• 风险标记：数据竞争风险, torch.compile 兼容性, 核心路径变更

关联脉络

• PR #27720 [DeepSeek V3] Deferred-finalize for dual-stream MoE: 本 PR 是 #27720 的后续，完成了双流执行顺序交换的剩余部分（#27720 只合入了 deferred-finalize 部分）。