verl-project/verl · 标签视图

移除权重同步 full GC 并修复 IPC ACK 竞态

值得精读，尤其是 `verl/workers/rollout/vllm_rollout/bucketed_weight_transfer.py`：它演示了如何用内存快照把“性能优化”还原成“跨进程竞态修复”，以及 CUDA IPC 的 `CudaIPCSentDataLimbo_` + `ipc_collect()` 组合在什么条件下无法回收 block。建议关注三个设计决策：最后一帧 ACK 推迟到 `_cleanup` 之后、`_ack_pending` 守卫如何维持 REP socket 的收发热度、`del weights, tensor` 前置如何顺带覆盖 `_direct_send_large_weight`。需要提醒读者的未闭环项：接收方 `_cleanup` 异常时的发送方永久阻塞（应尽快与 #7366 的 ACK 超时对齐或补 try/except 兜底 ACK），以及 `tests/utils/test_bucketed_weight_transfer.py` 缺失的 ACK 顺序断言——后者是未来重构最容易踩的坑。若团队正在维护 #7780 的 GC 开关，本 PR 之后应考虑废弃或标注为过渡方案。

权重恢复前改用轻量 empty_cache，去掉关键路径 full GC

值得精读，但重点不在代码而在推理链：改动本身只有一行，真正的价值是 Issue #7848 + PR body 中“拆分 empty_cache / GC / retry 各自耗时与释放量”的实验方法，可直接迁移到其他显存清理、profiler、同步点的性能排查。 阅读时建议关注三个设计决策：一是为什么普通 `empty_cache()` 在这个边界上已经足够（进程间 allocator handoff 语义 vs 释放活跃张量）；二是为什么 aggressive cleanup 在权重传输后、KV-cache resume 前的那处被保留（本 PR 的边界克制）；三是无单测情况下的回归防线如何建立——建议后续为 `update_weights()` 的关键路径加一个轻量守卫（例如断言该边界不再调用 `aggressive_empty_cache`，或把 GPU A/B 数据纳入 nightly 基准），否则同类回退仍可能被静默引入。

权重同步后加跨 rank barrier，避免非 leader 恢复 KV cache 时 OOM

值得精读（约 5 行，10 分钟以内），特别是正在维护权重同步、rollout 显存管理或遇到过“非 0 号 rank OOM”的工程师：它是理解“leader 抢先分配资源 → 其它 rank OOM”这类跨 rank 竞态的典型样本，也是 `asyncio.to_thread` 包装阻塞式集合通信的现成写法。 阅读时重点确认三点：一是 barrier 的位置是否确实覆盖了所有会持有显存的重 rank（本例放在 offload 与 aggressive_empty_cache 之后、resume 之前，逻辑正确）；二是是否应加 `torch.distributed.is_initialized()` 守卫或改用带超时的 barrier，以降低挂起/异常风险；三是其它未覆盖的同步路径（disaggregated、TRT-LLM 之外的专用后端）是否需要同样处理。此外建议补一个最小的多 rank/异步单测或在 PR 描述中说明手工验证方法，弥补当前评审与测试证据不足的问题。

NCCL 引擎新增多发送者中继模式，权重同步提速约 3 倍

值得精读。核心看点：用 Ray 节点 id 作为 NVLink 可达性代理的拓扑决策、中继本地推导分块边界以避免集合通信死锁的设计、以及 root 等待时机与模式耦合的细节。建议重点关注 `_multi_sender_ranks` 与 `build_topology` 的成员判定逻辑、`split_weight_chunks(meta_only=True)` 的复用方案，以及 review 中关于"边界分叉会导致广播永久挂起"的讨论。合并后建议跟进两件事：修正 `multi_sender` 默认值与 docstring、PR 描述不一致的问题；补充多节点与死锁回归测试。

缓存 Megatron-Bridge 导出计划，权重同步每步省约 12.5 秒

值得精读：改动虽仅 17 行，但展示了在 Megatron-Bridge 集成中利用『结构静态元数据缓存』消除每步分布式通信的经典思路，对大规模 Megatron 训练的吞吐优化有直接参考价值。建议重点学习 FP8 豁免与缓存初始化时机的处理；如后续接入 FP8 导出，可以参考该设计补充 FP8 下的缓存方案。

引擎后端导入失败时发警告替代静默跳过

值得快速阅读，改动只有 1 个文件 17 行。关注点： - 警告文本中 `stacklevel=1` 的定位是否准确，以及是否应使用 `stacklevel=2` 指向调用方。 - 是否应该用 `logger.warning` 替代 `warnings.warn`，以便与 verl 现有日志体系对齐。 - 警告噪音是否会造成用户误判，可考虑仅在环境变量显式开启时打印。

为 FSDP1 新增分片保存/恢复 handler，修复 Fully Async 崩溃

值得精读。该 PR 是一个小而清晰的 bugfix，展示了按「参数表示形态」拆分 handler 的设计思路：FSDP1 扁平 Tensor 与 FSDP2 DTensor 不能共用 CPU 保存/恢复工具。建议重点关注 fsdp_utils 中两个新函数的实现细节（barrier、跳过缺失参数、copy_ 语义）以及 engine_workers 中 strategy 分支的改动。但需注意测试缺失，后续应补一个 FSDP1 + fully_async + bypass_mode=False 的回归测试。

修复 TransferQueue 临时事件循环 FD 泄漏

值得精读，特别是事件生命周期管理和资源清理模式。PR 非常精准地修复了一个隐蔽的文件描述符泄漏问题，变更量小但影响大。提出的全局事件循环重构建议值得跟进，但当前修复是正确的紧急修补。