verl-project/verl · 标签视图

SGLang rollout 补齐视频特征转发，修复视频 VLM 盲答

值得精读，尤其是维护 rollout/多模态链路的同学：本案是“静默降级类 bug”的教科书样本——TODO 注释无告警、特征算完即丢、两个后端行为不一致，三者叠加后表现为模型输出流畅但完全虚构。建议重点看三处设计决策：(1) 用 `format="processor_output"` 复用 verl 已算好的 processor 输出而不是让 SGLang 重新抽帧，避免 fps 采样不一致这一隐形 desync；(2) 把后端差异收敛到 `LLMServerClient.generate` 的一处分支，并用无条件传参 + `TypeError` 换取“漏改即失败”的可见性；(3) teacher/OPD 路径与 rollout 路径共用同一 payload，避免修复只覆盖一半。阅读时建议同时关注作者未解决的遗留：非 Qwen 视频家族的静默丢弃、多轮 ToolAgentLoop 重复传帧、以及缺失的单测（作者愿意贡献 CPU-only mRoPE 对齐测试，可作为后续 PR 的补位点）。

权重同步后加跨 rank barrier，避免非 leader 恢复 KV cache 时 OOM

值得精读（约 5 行，10 分钟以内），特别是正在维护权重同步、rollout 显存管理或遇到过“非 0 号 rank OOM”的工程师：它是理解“leader 抢先分配资源 → 其它 rank OOM”这类跨 rank 竞态的典型样本，也是 `asyncio.to_thread` 包装阻塞式集合通信的现成写法。 阅读时重点确认三点：一是 barrier 的位置是否确实覆盖了所有会持有显存的重 rank（本例放在 offload 与 aggressive_empty_cache 之后、resume 之前，逻辑正确）；二是是否应加 `torch.distributed.is_initialized()` 守卫或改用带超时的 barrier，以降低挂起/异常风险；三是其它未覆盖的同步路径（disaggregated、TRT-LLM 之外的专用后端）是否需要同样处理。此外建议补一个最小的多 rank/异步单测或在 PR 描述中说明手工验证方法，弥补当前评审与测试证据不足的问题。

移除 dummy 格式覆盖，修复分离式 rollout 权重广播

值得精读。该 PR 展示了一个跨后端（vLLM/SGLang/TRT-LLM）共有的配置契约：`load_format=dummy` 在分离式训练中代表“跳过加载、等广播”。建议关注：1) 三个服务器如何共用相同 guard 逻辑（横向对比）；2) 移除 guard 后如何通过测试和示例守住契约边界；3) FP8 例外被删除的后续验证。

修复 LoRA 同步至 SGLang 的七处链式缺陷

值得精读。PR body 是“链式缺陷排查”的范本：逐项回滚的负向对照能区分“确证修复”与“防御修复”，wake_up() 一节如实承认没有证据证明必要但仍保留，实证纪律非常值得借鉴。两个设计原则可以沉淀为团队约定：①让不一致的调用点向已经能工作的那个对齐，而不是发明第三种答案；②对无法表达的配置（正则 target_modules）选择启动时响亮失败，而不是静默适配错误模块集。重点阅读 utils.py 的三个 helper、sglang_rollout.py 的 wrap_lora_params()，以及 http_server_engine.py 的错误 body 日志改造。

修复 SGLang 在 LoRA merge 模式下仍启用 adapter 的 bug

值得精读。这是一个典型的 bugfix 与设计收敛案例：通过引入单一谓词消除两个后端的行为漂移，并强调两个配置块的不同步问题，对理解 verl 中 LoRA 在 rollout 侧的处理很有帮助。

Megatron 后端接入分片 delta 权重同步

值得精读。核心看点：(1) comm-stubbed probe 设计——把进程组的 size/rank 语义与通信语义分离，用 NaN 哨兵穿过真实 `megatron_to_hf` 代码得到 HF 坐标，替代手写索引数学；(2) 幂等性验证扫描 `_verify_dense` 对多阶段 loader（如 Mamba 的 `A = -exp(A_log)`）按最终状态而非逐次 `copy_` 比对的判断；(3) 测试分层——TP>1 差分 oracle + 真 sglang 闭环 + CPU 单测构成对 probe 假设的完整回归防线。建议关注 PP/LoRA 的显式报错边界，以及将差分测试纳入 CI 的后续工作。

修复局部 rollout 恢复时 routed_experts 类型错误

本 PR 改动简洁但关键，适合需要了解 rollout 路由机制和跨后端兼容性处理的开发人员精读。测试代码尤其值得参考，展示了如何模拟多后端差异并验证合并逻辑。

修复 SGLang 权重同步中 NCCL buffer 竞争条件

建议精读此 PR。它展示了一个性能优化与正确性之间的经典权衡：原始启发式为了节省 clone 开销而引入了潜在 bug，最终通过更可靠的 `_base` 属性来区分视图，既保持了性能又保证了正确性。这种设计模式值得在类似的高性能通信代码中推广。