#47477 [ROCm][CI] Adding metadata
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:45
ROCm CI 新增 Docker 构建元数据测试作业
无需精读,属于常规 CI 基础设施改进,设计清晰、实现简洁。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:45
ROCm CI 新增 Docker 构建元数据测试作业
无需精读,属于常规 CI 基础设施改进,设计清晰、实现简洁。
修复 Transformers 后端用量统计名称模糊问题
该 PR 改动简洁、逻辑清晰,值得快速合并。对于关注可观测性的团队,建议依此检查其他类似统计点是否也存在信息隐藏问题,可借鉴本模式统一上报方案。
原始 PR · 作者 DanBlanaru · 合并时间 2026-07-03 03:32
SM90 支持 FlashInfer XQA decode 路径
该 PR 值得精读,尤其是 phase-aware 的 attention 后端设计、query dtype 分离策略以及各种 edge case 的处理(nvfp4、sliding window、spec decode)。Review 讨论中关于 q_scale 和 cudagraph 的决策具有参考价值。建议在部署到生产环境前,确保在 SM90 上对目标模型进行端到端 benchmark 验证。
删除弃用的 PagedAttention v1/v2 实现
此 PR 是重要的清理动作,值得开发者关注其背后的决策:vLLM 已完成注意力后端的现代化迁移。阅读 diff 可清晰了解旧代码的结构和如何被替换,对于理解 vLLM 的注意力架构演进非常有帮助。
修复 poolside_v1 工具解析器忽略无换行 tool call 的 bug
该 PR 值得审查,因为一行修复解决了一个静默丢弃 tool call 的问题,测试覆盖良好,且设计上考虑了向后兼容。对于维护工具解析的工程师,可关注其正则设计模式。
修复 V2 ModelRunner 调度时请求槽计数遗漏
建议所有使用 V2 Model Runner 的团队同步此修复。测试文件的 `WorkerSlots` 模拟类设计值得学习,可复用至其他需要验证调度器余额的场景。PR 提交清晰,改动集中,可快速 Code Review。
修复 Whisper 编码器滑动窗口 kernel 大小错配
值得精读,尤其是对涉及 KV 缓存管理或块池化机制的开发者。关键设计决策是将两个消费者的滑动窗口需求分离,并通过+1 余量解决块对齐驱逐的边界问题,是一个简洁而正确的修复。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-07-03 00:31
GLM-5.2 DSA indexer 预填充元数据 kernel 预热
该 PR 值得精读,它展示了如何在 vLLM 的预热框架中为特定后端 kernel 添加预热,是性能优化的典型模式。
参与讨论