执行摘要
本PR修复了FastDeploy中speculate decoding模块在CI测试中的CUDA图捕获失败问题，通过替换虚拟运行时的EOS token为安全值，确保图捕获过程稳定，提升CI可靠性。
功能与动机
修复CI测试中CUDA图捕获失败，原因是在accept_all=true的虚拟运行模式下，盲目接受EOS token会导致stop_flags设置，进而引起后续MTP解码步骤的token数量不匹配。PR body明确指出：“Previously, accept_all would blindly accept any draft token including EOS, which caused stop_flags to be set in unified_update_model_status, leading to CUDA graph capture failures due to token count mismatch in subsequent MTP decode steps。”
实现拆解
仅修改了custom_ops/gpu_ops/speculate_decoding/verify_draft_tokens.cu文件。关键改动点：
- 在
verify_draft_tokens内核的accept_all分支中，添加EOS检查逻辑：使用is_in_end函数判断token是否为EOS，如果是则替换为token ID 5。
- 代码示例：
cpp
if (accept_all) {
int64_t token = ctx.step_input_ids_now[i + 1];
if (is_in_end(token, end_tokens, end_length)) {
token = 5;
}
if (ctx.emit_token(i, token)) break;
continue;
}
评论区精华
Review中没有技术讨论，只有reviewer 'freeliuzc'的批准。代码覆盖率报告显示修改行被测试覆盖，但缺少基准提交报告，这可能影响覆盖率评估的准确性。
风险与影响
- 风险：硬编码token ID 5可能在某些模型中不安全；
accept_all模式若被误用于非图捕获场景可能引入问题。但风险较低，因为这是内部调试路径。
- 影响：直接影响CI测试稳定性，间接提升团队对GPU优化的信心；对用户无直接影响。
关联脉络
与历史PR关联：
- PR #7069：修复CUDA图捕获的MoE bug，显示跨模块的图捕获问题共性。
- PR #6738：补充MTP测试，反映了CI测试覆盖的增强趋势，与本PR共同推动测试可靠性。
参与讨论