缺陷修复
重要性 6.31
洞察度 6.00
修复 AITER EAGLE draft extend eager 元数据错误
该 PR 值得精读,因为它修复了特定硬件和模型组合下的关键稳定性问题,并展示了元数据传递的正确模式。值得关注的设计决策是使用 `generate_attn_arg_prefill()` 返回值构建 metadata。
标签列表
聚合结果
修复 AITER EAGLE draft extend eager 元数据错误
该 PR 值得精读,因为它修复了特定硬件和模型组合下的关键稳定性问题,并展示了元数据传递的正确模式。值得关注的设计决策是使用 `generate_attn_arg_prefill()` 返回值构建 metadata。
原始 PR · 作者 weireweire · 合并时间 2026-07-16 13:37
跳过 EAGLE 默认采样归一化
建议精读核心变更逻辑,但无需深入 review 其他文件。该 PR 展示了如何利用已有的批量状态信息消除冗余计算,是一个干净的性能优化模式。可关注类似优化是否也可应用于其他采样路径。
修复 Spec V2 下 return_hidden_states 截断问题
PR 值得精读,尤其是对理解 speculative decoding 中张量布局和步幅切片的开发者。设计决策(如使用 num_correct_drafts_per_req_cpu + 1 作为接受长度、在 output_streamer 中二次截断)体现了对流水线中不同阶段语义的把握。建议合并后补充覆盖 EAGLE3 等算法的测试。