Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-03

#47477 [ROCm][CI] Adding metadata

原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:45

基础设施 重要性 5.00 洞察度 3.00

ROCm CI 新增 Docker 构建元数据测试作业

无需精读,属于常规 CI 基础设施改进,设计清晰、实现简洁。

#47472 Fix Transformers modeling backend usage stats

原始 PR · 作者 hmellor · 合并时间 2026-07-03 03:51

缺陷修复 重要性 5.52 洞察度 4.00

修复 Transformers 后端用量统计名称模糊问题

该 PR 改动简洁、逻辑清晰,值得快速合并。对于关注可观测性的团队,建议依此检查其他类似统计点是否也存在信息隐藏问题,可借鉴本模式统一上报方案。

#43232 Xqa decode kernels

原始 PR · 作者 DanBlanaru · 合并时间 2026-07-03 03:32

性能优化 重要性 9.08 洞察度 7.00

SM90 支持 FlashInfer XQA decode 路径

该 PR 值得精读,尤其是 phase-aware 的 attention 后端设计、query dtype 分离策略以及各种 edge case 的处理(nvfp4、sliding window、spec decode)。Review 讨论中关于 q_scale 和 cudagraph 的决策具有参考价值。建议在部署到生产环境前,确保在 SM90 上对目标模型进行端到端 benchmark 验证。

#47361 Delete PagedAttention

原始 PR · 作者 mgoin · 合并时间 2026-07-03 03:31

重构 重要性 8.19 洞察度 4.00

删除弃用的 PagedAttention v1/v2 实现

此 PR 是重要的清理动作,值得开发者关注其背后的决策:vLLM 已完成注意力后端的现代化迁移。阅读 diff 可清晰了解旧代码的结构和如何被替换,对于理解 vLLM 的注意力架构演进非常有帮助。

缺陷修复 重要性 6.18 洞察度 5.00

修复 poolside_v1 工具解析器忽略无换行 tool call 的 bug

该 PR 值得审查,因为一行修复解决了一个静默丢弃 tool call 的问题,测试覆盖良好,且设计上考虑了向后兼容。对于维护工具解析的工程师,可关注其正则设计模式。

缺陷修复 重要性 7.67 洞察度 5.00

修复 V2 ModelRunner 调度时请求槽计数遗漏

建议所有使用 V2 Model Runner 的团队同步此修复。测试文件的 `WorkerSlots` 模拟类设计值得学习,可复用至其他需要验证调度器余额的场景。PR 提交清晰,改动集中,可快速 Code Review。

缺陷修复 重要性 6.27 洞察度 5.00

修复 Whisper 编码器滑动窗口 kernel 大小错配

值得精读,尤其是对涉及 KV 缓存管理或块池化机制的开发者。关键设计决策是将两个消费者的滑动窗口需求分离,并通过+1 余量解决块对齐驱逐的边界问题,是一个简洁而正确的修复。

参与讨论