verl-project/verl

修复多个CI失败点，包括配置、导入错误和兼容性问题。

建议CI维护者和相关模块开发者（如模型初始化、数据集处理）精读此PR，重点关注`get_hf_rope_theta`函数的实现逻辑和LinearForLastLayer的参数调整，以了解兼容性处理和模块重构。

修复FSDP训练中NestedTensor jagged维度歧义导致的间歇性形状错误。

建议技术管理者和工程师精读此PR，尤其关注`collate_variable_batch`函数的改动。值得学习的设计决策包括：从使用`.values()`切换到`unbind()+cat()`的临时修复，最终采纳`nested_tensor_from_jagged`以明确控制jagged维度，展示了在解决PyTorch API歧义时的渐进优化。此外，commit历史的演进揭示了问题根因定位的重要性。

修复嵌套张量最大响应长度计算错误，用现有函数替换重复代码。

建议工程师阅读此PR以了解嵌套张量处理中的常见错误（如offsets().max()误用），并学习通过移除重复代码简化维护的设计模式。对于涉及训练损失计算或嵌套张量操作的开发者，此修复值得关注。

为Megatron训练管道添加NVFP4 W4A16量化感知训练支持，并通过ModelOpt集成vLLM推理。

建议技术管理者和工程师精读此PR，特别关注`verl/utils/modelopt/`模块中的设计决策，如分布式权重导出器（`QATWeightExporter`）的实现和vLLM补丁机制。此外，review讨论中提到的代码重构点值得学习，以提升代码质量和可维护性。

为TrainingWorker添加NUMA亲和性设置，提升GPU训练性能6.1%。

建议技术管理者关注此PR以了解NUMA优化在分布式训练中的应用和硬件兼容性权衡；工程师可精读代码学习如何集成性能调优函数，但需注意NPU限制。

修复 Liger 内核集成以兼容视觉语言模型和强化学习训练，提升训练速度。

建议精读此 PR，关注 _apply_liger_kernel_to_instance 的参数传递设计决策，以及如何通过测试确保兼容性。对于涉及内核优化和模型集成的开发者，此 PR 提供了避免冲突的实用模式和性能基准参考。

将 `dist_ckpt_optim_fully_reshardable` 默认值设为 False，以避免检查点保存时的高 CPU 内存 OOM。

建议：此 PR 值得精读，特别是对于使用大模型训练的团队。重点阅读 `verl/trainer/config/engine/megatron.yaml` 的更改和文档中的警告部分，了解 fully reshardable 与 dp-reshardable 格式的权衡，以确保正确配置检查点策略。

修复one-step-off算法中权重更新时机错误导致推理中断的bug。

对于使用one-step-off算法的开发者，建议精读此PR以理解权重同步的正确时机。关注设计决策：将权重更新从`fit_step`移到`_fit_generate`以确保顺序执行，避免竞态条件，这在异步训练场景中具有参考价值。