#50086 [CI][ROCm] Soft fail LoRA mirror
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-28 15:18
ROCM LoRA CI 测试软失败
简单配置变更,无需精读。但值得关注后续是否有真正的修复 PR。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-28 15:18
ROCM LoRA CI 测试软失败
简单配置变更,无需精读。但值得关注后续是否有真正的修复 PR。
修复推测解码 draft 模型缓冲区在 level-2 sleep 时丢失
值得精读,尤其是对 sleep/wake 生命周期和 buffer 管理感兴趣的开发者。设计决策(条件恢复、对称快照、移除冗余钩子)提供了良好的实践经验。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-07-28 14:38
修复 cgroup 内存限制在非 ROCm 平台被忽略
值得快速合并。这是一个小而正确的 bugfix,修复了容器场景下的常见问题。建议阅读时关注 `_get_available_ram_bytes` 和 `get_cgroup_memory_limit` 的配合逻辑。
原始 PR · 作者 ShuoleiWang · 合并时间 2026-07-28 14:35
为RL rollout添加权重版本标记API
此 PR 是 RL API 重要的基础设施,值得 RL 相关开发者和架构师精读。关键设计决策包括:版本仅在 finish_weight_update 成功时发布(失败不更新),版本绑定到 EngineCore 而非 request/output,API 按 dev-mode 方式提供。建议关注后续多副本身份标识和持久化方案。
原始 PR · 作者 bigPYJ1151 · 合并时间 2026-07-28 14:09
修复 CPU MRV2 多模态不支持的兼容性问题
建议快速浏览,重点看三点:CPU shim 的占位补全范围(vllm/v1/worker/cpu/shm.py)、PIN_MEMORY 常量的引入方式(encoder_decoder.py)、reduce_data 的 device 判断(inputs.py)。对 CPU/新后端开发有参考价值;不建议精读,因为逻辑直白且无讨论。后续建议补一个 CPU MRV2 多模态 smoke test,避免回归。
删除冗余 Triton group quant op,恢复 ROCm FP8 fusion
建议所有 ROCm FP8 用户合并此 PR。对于研究编译融合或量化实现的开发者,值得阅读以理解 op 注册与融合 pass 交互。
修复 SM121 下无内核的构建错误
值得精读,尤其是 CMake 构建系统的开发者。该 PR 展示了如何处理上游工具链的 bug、如何通过优先读取更可靠的元数据(`code=sm_*` 而非 `arch=compute_*`)来规避问题,以及在构建时添加防御性检查避免静默失败。
修复 transformers MLA pad 条件导致 QKV 投影崩溃
建议精读此 PR。它展示了两个独立正确的 PR 合并后产生交互回归的经典场景,以及如何通过严格化条件来修复。是代码审查和跨 PR 依赖分析的好案例。
参与讨论