多适配器 LoRA 支持 EAGLE/NEXTN/DFLASH/DSPARK 投机解码
建议精读。这是投机解码与 LoRA 两个核心子系统交叉处的重要功能 PR,设计决策值得学习:共享草稿 + 无损验证的取舍、基于 `is_draft_worker` 的门控而非配置、cuda-graph 宽度断言防静默错贴、共享模块在所有获取点统一解包,以及“只告警不拒绝 embedding 适配器”的务实选择。测试方法论(以 spec-on vs spec-off 为 oracle、先测复现性地板、用 adapter 身份前缀直接检验 batch 内适配器归属)也很有借鉴价值。后续值得跟进 TBO 与 overlap-loading 两个已知 LoRA 问题的独立修复。
参与讨论