#50514 [Core][MRV2] Support eagle3 spec decode with pipeline parallel
原始 PR · 作者 yongqinwang-cmd · 合并时间 2026-09-05 11:45
功能
重要性 9.29
洞察度 7.00
为 EAGLE3 风格投机解码添加流水线并行支持，实现跨阶段辅助隐藏状态传输。
本 PR 是一个重要的功能增强，值得精读。它解决了 vLLM 在大规模模型服务中的一个关键能力缺口，设计经过了充分的社区讨论和硬件验证。关注点包括：1) **架构模式**：如何在现有 `IntermediateTensors` 传输机制上扩展以支持新的跨阶段数据流；2) **兼容性设计**：通过显式标志和加载时检查管理模型兼容性；3) **性能与正确性平衡**：选择中继而非直接发送的设计决策。尽管合并冲突历史表明集成难度较高，但最终实现代码清晰、测试充分。