#23994 [spec decoding] supports step 0 in adaptive spec decoding (updating draft kv cache without draft decoding)
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-06-16 13:21
自适应推测解码支持step=0与draft KV缓存更新
建议所有使用自适应推测解码(`--speculative-adaptive`)的用户阅读此 PR,特别是 `_build_trivial_verify_input` 的实现和 `SGLANG_SPEC_SKIP_ZERO_STEP_DRAFT_EXTEND` 的语义。该 PR 设计上保留了 draft KV 更新路径作为默认行为,是一个谨慎的权衡。测试覆盖完整,可直接合并。
参与讨论