Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

beam-search 相关 PR

2026-09-15
缺陷修复 重要性 6.83 洞察度 5.00

修复 beam search 中止崩溃并保留部分输出

值得精读,优先级中等:改动约 170 行、3 个源文件 + 2 个测试文件,阅读成本低但涉及三个可复用的设计决策。建议重点关注 (1) online.py 用 `break` + 全量标记 abort 而非 `return`,为什么这样才能保留部分输出;(2) offline.py 用 `instance_start_and_end` 切片实现 prompt 级隔离,以及把未完成 beam 放进 `instance.completed` 的后果;(3) `finish_reason="abort"` 成为对外可见契约,以及 `get_beam_search_score` 中 `max(seq_len, 1)` 这类边界防护对排序路径的普适价值。后续可跟进:补一条真实 `/pause?mode=abort` 的端到端测试,并在 API 文档中说明 abort 的返回语义。