Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

eagle 相关 PR

2026-08-29
缺陷修复 重要性 6.31 洞察度 6.00

修复 AITER EAGLE draft extend eager 元数据错误

该 PR 值得精读,因为它修复了特定硬件和模型组合下的关键稳定性问题,并展示了元数据传递的正确模式。值得关注的设计决策是使用 `generate_attn_arg_prefill()` 返回值构建 metadata。

2026-07-16

#31294 Skip no-op EAGLE sampling renormalization

原始 PR · 作者 weireweire · 合并时间 2026-07-16 13:37

性能优化 重要性 5.94 洞察度 5.00

跳过 EAGLE 默认采样归一化

建议精读核心变更逻辑,但无需深入 review 其他文件。该 PR 展示了如何利用已有的批量状态信息消除冗余计算,是一个干净的性能优化模式。可关注类似优化是否也可应用于其他采样路径。

2026-06-18
缺陷修复 重要性 7.42 洞察度 6.00

修复 Spec V2 下 return_hidden_states 截断问题

PR 值得精读,尤其是对理解 speculative decoding 中张量布局和步幅切片的开发者。设计决策(如使用 num_correct_drafts_per_req_cpu + 1 作为接受长度、在 output_streamer 中二次截断)体现了对流水线中不同阶段语义的把握。建议合并后补充覆盖 EAGLE3 等算法的测试。