verl-project/verl · 标签视图

为 VeOmni 引擎新增基于流的异步激活卸载配置与实现，用于降低 GPU 内存占用。

本 PR 引入了一个重要的内存优化功能，值得精读。关注重点在于： 1. `_maybe_apply_async_activation_offload` 方法的设计和应用时机，这是理解异步卸载如何与 FSDP2 和梯度检查点协同工作的关键。 2. 配置项的语义和验证逻辑，特别是 `activation_offload_modules` 的模式匹配和 `activation_offload_host_cache_limit_gb` 的内存管理策略。 3. 移除同步卸载路径对整体架构简化的影响。 尽管 PR 合并时无 Review 讨论，但其实现逻辑清晰，关键设计决策在代码注释中得到了充分解释。这是一个“重大变更”（导入ance_score: 6），因为它引入了一个全新的内存管理子系统，并伴随配置的破坏性更改。

为 VeOmni 后端启用 GPT-OSS 模型的专家并行 (EP) 训练支持。

本 PR 值得精读，尤其是 `verl/workers/engine/veomni/utils.py` 中的新处理函数和调度逻辑变更。它清晰地展示了如何通过策略模式扩展参数导出框架以支持新模型。核心设计决策（如强制使用流式处理器进行 delta 导出）及其背后的理由（与 vLLM 加载器集成）是关注重点。建议重点审查：1. 新处理函数与 `enumerate_hf_slots` 的集成是否健壮；2. `veomni_shard_export` 中对 GPT-OSS 模型的特殊处理是否会意外影响其他模型；3. 示例脚本中的配置（如 EP/TP 大小）是否合理且有良好文档。

更新 30B veomni 脚本的专家并行配置

该 PR 为低优先级的配置调整，不值得精读。可留意其将专家并行大小参数化并默认调整为 8 的做法，这反映了 veomni 在 NPU 上对专家并行的偏好。

DeepSeek V4 支持 QAT bf16 伪量化训练

该 PR 值得关注，因为它引入了新的训练模式（QAT）并增强了 GSPO 损失的灵活性。建议补充单元测试覆盖新配置项和损失聚合逻辑，并确认与 VeOmni 侧 PR 的兼容性。

删除残留 ref.router_replay 配置，修复 Hydra dataclass 实例化报错

值得花 5 分钟快速阅读，作为“配置 schema 与 dataclass 一致性”的典型案例，建议与 #7466 合并阅读。关注点：(1) verl 用 omega_conf_to_dataclass + Hydra struct 模式实例化配置的机制，多余键会直接抛 TypeError；(2) 顶层死配置键如何分两步（#7466 删 actor 侧、本 PR 删 ref 侧）才清理干净；(3) 是否值得在 CI 增加生成配置与 schema 的一致性校验，防止同类回归。

路由索引改 int16，支持超 255 专家并重构回放

值得精读。亮点包括：NCCL 无 int16 时的 uint8 位视图通信模式、用 duplicate-top-k 检测替代显式 replay_mask 的设计取舍、controller 与 engine 的职责划分（controller 不感知形状）。建议阅读时对照 `tests/utils/test_megatron_router_replay_dcp.py` 理解通信层约束，并对照 `verl/workers/utils/padding.py` 的删除逻辑确认数据契约变更范围。

回填扁平化 DSD 检查点缺失优化器状态，修复恢复崩溃

建议精读。改动小但处于训练恢复核心路径，设计上巧妙复用 `optimizer.state_dict()` 的初值来对齐 `allow_partial_load` 语义。值得关注的是缺少单元测试覆盖，可参考 `tests/utils/ckpt/test_lora_custom_object_save_on_cpu.py` 的写法，补一个 CPU 上的扁平化 state dict 回填校验。

FSDP/VeOmni 新增 pad_to_length 减少 JIT 重复编译

值得精读的 perf 型 PR。重点关注三处设计：一是“按 attention workload 均衡分 micro-batch 导致 token 数越界，因此必须用细 bucket 而非固定预算对齐”的量化论证；二是 `prepare_model_inputs` 中补位时机（roll 之后、SP 切分之前）与 `_gather_and_unpad_packed` 统一裁剪的配合；三是 router replay 在补位下的掩码处理——补位 token 无 RECORD 记录所以必须 gate 掉走原生路由，而真实 token 打 gate 才会破坏 R2 bit-equal 保证。测试文件对这两个引擎用 `MagicMock` 桩掉 `veomni.*` 依赖的做法也值得复用。