verl-project/verl · 标签视图

ROCm CI 容器固定 NUMA 节点，解决 e2e 超时

值得快速阅读，但不需要精读。它展示了一个很有价值的运维经验：在虚拟化环境（QEMU VM）下，容器自由调度导致的跨 NUMA 启动开销可能被误判为计算性能问题；`--cpuset-cpus`/`--cpuset-mems` 组合是恢复 NUMA 局部性的标准手段。对于负责 CI 基础设施的工程师，建议关注：1) NUMA 拓扑感知的容器调度实践；2) YAML folded scalar 中反斜杠陷阱（作者在 PR body 中特别提醒）；3) 这类硬编码硬件假设应记录到 workflow 注释或文档，以便环境迁移时更新。

修复 rollout 工作节点 NCCL_CUMEM_ENABLE 被强制覆盖问题

此 PR 值得快速浏览，因为它在不经意间暴露了 verl 在环境变量处理上的一个设计倾向：硬编码默认值可能覆盖用户意图。对于使用 CUDA 并有特殊 NCCL 配置需求的用户，建议关注此改动；建议未来类似环境变量处理统一使用 os.environ.get 模式。

修复 modular vLLM 上 FusedMoE 导入引发的 NPU 启动崩溃

该 PR 值得快速浏览，它体现了对 vLLM 模块化演进（factory 模式替代类导出）的兼容性处理。对于 vLLM 集成相关的开发者，可借鉴其通过 `getattr` 实现可选类导入的模式。但整体改动较小，不涉及核心架构，非高精读优先级。

回退异步广播，修复 NPU 权重更新时 hccl error

值得快速浏览，作为"性能优化在硬件专属路径上引入回归后被回退"的典型案例：提醒在 HCCL 等硬件专属通信路径上做并行化/异步化改造时，必须有对应 NPU 环境的测试覆盖。无需精读，技术含量有限，但可在 release note 中记录此次回退以避免他人重复踩坑。

新增 Ascend Docker 受支持镜像标签文档

值得快速浏览（约 1 分钟）：对 Ascend 部署用户有直接参考价值。值得关注的模式是把"最新 / 版本发布 / 模型专用 / 历史归档"分表组织，兼顾检索效率与历史留存；建议后续在 docs/ascend_tutorial 安装文档中引用该文件，并考虑用 CI 校验表格标签与实际 Dockerfile 的一致性。

识别 is_shuffled 标志，修复 AITER FP8 权重 refit

值得快速精读。虽然改动只有 10 行，但蕴含两个有价值的工程模式：一是当设备端变换不改变 tensor 元数据时，需要额外的信号位（`is_shuffled`）来追踪布局状态；二是 `vllm_fp8_utils.py` 的 docstring 对 vLLM 权重内存池（discard-and-rezero、NaN 哨兵填充）有深入解释，适合作为 FP8 / refit 相关开发的必读材料。建议 FP8 与 ROCm 支持组的成员关注，并推动补齐 ROCm AITER 的端到端回归测试。

ROCm PPO CI 升级镜像并禁用 vLLM custom all-reduce

可以快速阅读本 PR 以了解 ROCm CI 的坑位：核心要点是 vLLM custom all-reduce 在 ROCm 上不可用，以及镜像内依赖应作为唯一事实来源。若后续在 ROCm 上继续开展 CI 优化，建议关注 `disable_custom_all_reduce` 配置在 vLLM 侧的实现，并考虑在更多 ROCm 工作流中复用 `VLLM_ROCM_OVERRIDE` 模式。

修复 ROCm 图回放下注意力缓存地址失效问题

值得精读。这个 PR 展示了处理“CUDA graph 持有 buffer 地址”这一经典问题的设计模式：不删除缓存而是原地刷新保持地址稳定，并用 `torch.inference_mode()` 解决推理期 tensor 的可变性约束。对理解量化权重加载、图捕获与动态权重更新之间的交互很有价值。