Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

sampling 相关 PR

2026-08-17
性能优化 重要性 7.26 洞察度 6.00

缓存 logits 处理判定,MRV2 采样门控提速约 70%

值得精读。这是一次典型的“热路径判定预计算”优化:把每步重复扫描 7 个数组的工作折叠为 `add_request()` 一次的 O(1) 写入,且测试通过参数化把组合谓词的每个分支都钉死,并专门覆盖槽位复用与活跃子集过滤两个最容易踩坑的点。关注点:未来扩展采样状态时如何保证缓存同步,可考虑把谓词收敛到单一派生结构或在测试中增加“缓存与实际状态一致性”的断言。

2026-08-16
缺陷修复 重要性 6.81 洞察度 5.00

修复批次交换后思考预算状态残留共享的 bug

值得精读。它是“最小修复 + 高质量回归测试”的范例:2 行核心改动修复 dict 别名共享缺陷,测试精确断言修复前失败的关键行为(状态键集合与对象身份)。对理解 vLLM v1 采样路径的 BatchUpdate / MoveDirectionality 状态同步模型,以及“先 pop 再回填”的交换语义很有帮助;审阅者还可关注其与 logits processor swap 模式的一致性设计。

2026-05-02
功能 重要性 7.97 洞察度 6.00

添加 logprob_token_ids 支持到 V2 模型 Runner

值得精读,特别是 `compute_topk_logprobs` 的 fast/slow path 设计和 `_fill_logprob_token_ids_kernel` 的实现。njhill 的重构也体现了模块化原则。也可以关注 `gemini-code-assist` 的自动化 review 质量。