Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-05-07
缺陷修复 重要性 5.57 洞察度 4.00

对齐 block table 大小为 TRTLLM MLA 边缘情形修复

值得合并,修复了一个明确的边缘崩溃。建议未来若其他后端也有类似对齐需求,可考虑将此逻辑抽取为 attention 后端的公共属性或工具函数,避免重复。

缺陷修复 重要性 7.45 洞察度 6.00

修复 PP 模式 token 丢失导致精度下降

建议阅读者重点关注 `_update_states` 中 token 索引的设计,以及当数据依赖跨越多个函数(如 `_update_states` 和 `condense`)时,如何确保不变性。该 PR 的 bug 分析方法论(从精度退化到具体代码行定位)值得团队借鉴。

重构 重要性 5.75 洞察度 3.00

aiter FP8 注意力 Q 缩放重构

建议审核者快速合并。该 PR 是上游 kernel 升级后的清理工作,逻辑清晰、改动量极小且经过维护者确认。

2026-05-06
缺陷修复 重要性 7.81 洞察度 7.00

修复 spawn 测试装饰器静默吞掉测试失败

该 PR 是重要的测试基础设施修复,值得合并。但必须确保与 XPU/ROCm 平台兼容,需 review follow-up PR #41895。作者已积极解决反馈。建议在合并前对受影响的测试在 CI 中充分运行。

功能 重要性 9.18 洞察度 6.00

新增 Gemma4 MTP 推测解码,含 centroids masking 优化

值得精读。本 PR 展示了一条完整的 speculative decoding 集成路径:从模型定义、提议器封装到配置注册和 runner 集成。其中 centroids masking 和跨模型 KV 共享的设计尤其值得借鉴。建议重点关注 `gemma4_mtp.py` 的 `_select_and_score` 和 `gemma4.py` 的 `build_per_group_and_layer_attn_metadata`。

缺陷修复 重要性 4.77 洞察度 5.00

修复 lookup() 对 in-flight 块返回歧义

值得精读,因其清晰展示了接口语义修复的方法:通过返回 `None` 引入重试信号,而非返回 `False` 导致信息丢失。可作为代码接口设计的参考。

缺陷修复 重要性 7.10 洞察度 5.00

修复 forced tool_choice 在 content=None 时的断言崩溃

值得精读。该 PR 展示了如何正确修复推理解析与工具调用交互的边界情况,并包含 review 中设计决策的来回迭代,对理解工具调用流程有参考价值。

参与讨论