执行摘要

• 一句话：修复多个CI失败点，包括配置、导入错误和兼容性问题。
• 推荐动作：建议CI维护者和相关模块开发者（如模型初始化、数据集处理）精读此PR，重点关注get_hf_rope_theta函数的实现逻辑和LinearForLastLayer的参数调整，以了解兼容性处理和模块重构。

功能与动机

PR body列出8个具体修复点，目的是解决CI失败，如'fix 3d position_ids in SFT trainer introduced in https://github.com/verl-project/verl/pull/5689'、'fix LinearForLastLayer import error introduced in https://github.com/verl-project/verl/pull/5707'等，以确保开发和测试流程的连续性。

实现拆解

实现主要包括：

1) 在多个GitHub workflow文件中删除HTTP_PROXY环境变量，防止vllm/sglang请求被代理；
2) 新增get_hf_rope_theta函数处理transformers>5的rope_theta兼容性，更新相关配置文件；
3) 将LinearForLastLayer导入从verl.models.llama.megatron.layers.parallel_linear改为verl.models.mcore.bridge，并调整参数从config到sequence_parallel；
4) 在verl/utils/dataset/dataset_utils.py中添加_ragged_idx修复3D position_ids；
5) 修改vllm和sglang服务器代码避免端口冲突；
6) 临时禁用megatron critic model pp、trt-llm vlm ci和sglang reward model ci等测试。

关键文件：

• .github/workflows/e2e_ppo_grpo_trainer_trtllm.yml（模块 ci）: 修改CI配置，删除HTTP_PROXY并临时禁用VLM测试，影响多个workflow的代理设置。
• verl/models/mcore/config_converter.py（模块 model）: 新增get_hf_rope_theta函数，处理rope_theta兼容性，是模型配置转换的关键更改。
• verl/models/mcore/model_initializer.py（模块 model）: 调整LinearForLastLayer导入和参数，影响模型初始化流程，涉及多个模型类。
• verl/utils/dataset/dataset_utils.py（模块 dataset）: 添加_ragged_idx修复3D position_ids，确保SFT trainer正确处理嵌套张量。
• verl/workers/rollout/vllm_rollout/vllm_async_server.py（模块 rollout）: 修复端口冲突，移除master_sock关闭代码，避免vllm服务器启动问题。

关键符号：get_hf_rope_theta, LinearForLastLayer.init, collate_variable_batch

评论区精华

review中，gemini-code-assist[bot]评论指出import路径更改和参数替换是兼容性调整，Superjomn批准LGTM，HollowMan6建议等待CI通过后被dismissed。没有重大争议，更改被接受，但HollowMan6的评论暗示CI验证的重要性。

• LinearForLastLayer import and parameter changes (design): Changes accepted as compatibility refactoring, with approval from Superjomn.

风险与影响

• 风险：风险包括：
  1) 删除HTTP_PROXY可能在某些网络环境下导致连接问题，但已在多个workflow中统一移除；
  2) 临时禁用测试（如megatron critic model pp）可能掩盖潜在悬挂错误，需后续修复；
  3) rope_theta兼容性更改在verl/models/mcore/config_converter.py中可能对新模型配置处理不足；
  4) LinearForLastLayer导入路径更改需确保所有依赖模块更新，否则可能引发ImportError。
  • 影响：对团队开发有积极影响，修复CI失败提升开发效率和测试稳定性；对系统影响小，主要是配置和代码微调，不涉及核心功能变更；用户无直接影响，属于内部基础设施维护。
  • 风险标记：临时禁用测试, 兼容性更改, 依赖调整

关联脉络

• PR #5736 [ci] fix: fix circular import in ci: 同样修改verl/utils/megatron_utils.py文件，涉及CI修复和循环导入问题，与本PR的megatron相关更改有交叉。
• PR #5740 [misc] fix: supplement the dependencies that are missing in the requirements-npu.txt: 涉及依赖修复，与本PR中安装megatron-bridge和调整deps的操作相关，都针对基础设施问题。