#25795 Enable breakable CUDA graph for eagle
原始 PR · 作者 merrymercy · 合并时间 2026-05-21 09:02
为 Eagle 投机解码启用可中断 CUDA 图
该 PR 为 Eagle 投机解码解锁了 BCG 能力,是一个有价值的功能增强。虽然改动量不大,但设计上的一些决策(如 capture_hidden_mode 的三种模式、草稿工作器的延迟初始化)值得学习。建议架构相关工程师精读 breakable_cuda_graph_runner.py 和 eagle_utils.py 的改动。需要注意的是,当前缺少测试覆盖,合并后应补充针对草稿工作器 BCG 的集成测试。
参与讨论