修复 MRV2 shutdown 时未释放 model_state 和 speculator 引用
值得合入,修复清晰且低风险。可快速合并以解决 CI 失败和内存泄漏问题。建议后续考虑为 `shutdown()` 补充单元测试,涵盖所有应清理的属性。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 MRV2 shutdown 时未释放 model_state 和 speculator 引用
值得合入,修复清晰且低风险。可快速合并以解决 CI 失败和内存泄漏问题。建议后续考虑为 `shutdown()` 补充单元测试,涵盖所有应清理的属性。
原始 PR · 作者 wendyliu235 · 合并时间 2026-07-03 09:51
Intel CI 新增量化和 AWQ 测试
该 PR 是典型的 CI 增强变更,逻辑简单。如果读者关注 Intel GPU 上的量化支持状态,可以了解新增的测试覆盖。对于大多数开发者,无需深入阅读。
原始 PR · 作者 adamkbaranowski · 合并时间 2026-07-03 09:09
为Laguna模型添加DFlash投机解码支持
该PR展示了如何通过继承和组件复用来高效添加新模型,设计决策值得学习。建议阅读`laguna_dflash.py`的实现,以及`qwen3_dflash.py`中如何提取公共方法以支持复用。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:59
调整 ROCm CI 中 Extract Hidden States 测试的 GPU 分配和超时
本 PR 为一次小的 CI 配置修正,无源码逻辑变更,不值得精读。但可作为 CI 配置与测试需求对齐的典型案例参考。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:58
ROCm CI 新增 Qwen3 DP4 异步 EPLB 测试
该 PR 为常规 CI 覆盖补充,无复杂技术决策,无需精读。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-03 08:45
ROCm CI 新增 Docker 构建元数据测试作业
无需精读,属于常规 CI 基础设施改进,设计清晰、实现简洁。
修复 Transformers 后端用量统计名称模糊问题
该 PR 改动简洁、逻辑清晰,值得快速合并。对于关注可观测性的团队,建议依此检查其他类似统计点是否也存在信息隐藏问题,可借鉴本模式统一上报方案。
原始 PR · 作者 DanBlanaru · 合并时间 2026-07-03 03:32
SM90 支持 FlashInfer XQA decode 路径
该 PR 值得精读,尤其是 phase-aware 的 attention 后端设计、query dtype 分离策略以及各种 edge case 的处理(nvfp4、sliding window、spec decode)。Review 讨论中关于 q_scale 和 cudagraph 的决策具有参考价值。建议在部署到生产环境前,确保在 SM90 上对目标模型进行端到端 benchmark 验证。
参与讨论