PR 5885 分析报告
执行摘要
本次PR修复了FSDP Actor和Critic配置中strategy字段未同步到EngineConfig的问题，确保当用户设置actor.strategy=fsdp2时，引擎能正确选择FSDP2后端，避免因回退到FSDP1导致的模型训练崩溃（特别是Qwen3.5等多维RoPE position_ids模型）。该修复仅影响使用新engine_workers.py路径的FSDP2训练，风险较低但解决了关键兼容性问题。
功能与动机
问题背景：在FSDPActorConfig和FSDPCriticConfig的__post_init__方法中，虽然设置了self.engine = self.fsdp_config，但未同步self.strategy到self.engine.strategy。由于EngineConfig.strategy默认为None，engine_workers.py第162行始终传递None作为后端，导致回退到FSDP1。这会导致需要FSDP2的模型（如Qwen3.5）崩溃，因为FSDP1的参数包装会破坏apply_rotary_pos_emb的形状匹配。
关键表述：PR body中明确指出：“For models with multi-dimensional position_ids (Qwen3.5, Qwen3-VL), FSDP1 wrapping breaks apply_rotary_pos_emb”。
实现拆解
修改涉及两个配置文件，均通过object.__setattr__强制同步strategy字段：
| 文件 |
修改内容 |
作用 |
verl/workers/config/actor.py |
在FSDPActorConfig.__post_init__中添加object.__setattr__(self.engine, "strategy", self.strategy) |
将actor配置的strategy同步到engine配置 |
verl/workers/config/critic.py |
在FSDPCriticConfig.__post_init__中添加相同逻辑 |
将critic配置的strategy同步到engine配置 |
代码逻辑：使用object.__setattr__是因为BaseConfig有冻结字段逻辑，阻止普通属性赋值。注释说明：“EngineConfig.strategy defaults to None, so without this, engine_workers.py always falls back to FSDP1”。
评论区精华
review中仅有一条实质性讨论：
gemini-code-assist[bot]："In addition to syncing the strategy, ulysses_sequence_parallel_size should also be synced to the engine configuration in FSDPCriticConfig for consistency and backward compatibility..."
该建议指出，为了保持一致性，critic配置中的ulysses_sequence_parallel_size也应同步到engine配置。但PR最终未采纳此建议，仅同步了strategy字段。
风险与影响
风险：
- 回归风险低，仅修改配置同步逻辑，不涉及核心训练流程。
- 未同步
ulysses_sequence_parallel_size可能导致critic的序列并行设置未正确传递，但根据评论该字段在FSDPEngineConfig中可变，风险可控。
- 使用
object.__setattr__绕过冻结逻辑需确保不破坏其他配置验证。
影响：
- 用户：修复后，设置
actor.strategy=fsdp2能正确使用FSDP2后端，避免模型训练崩溃。
- 系统：确保FSDP版本选择与配置一致，提升训练稳定性。
- 团队：明确了配置层到引擎层的字段同步模式。
关联脉络
- 相关PR 5870：同样涉及critic配置修复，统一配置到
HFModelConfig，与本PR的critic配置同步问题相关。
- 相关PR 5848：涉及配置统一和重构，与本PR同属配置管理领域。
演进趋势：近期多个PR（如5870、5848）聚焦于配置系统的统一和修复，表明团队正在加强配置传递的可靠性和一致性，以支持更复杂的训练场景（如FSDP2、Megatron后端）。本PR是这一趋势中的一环，解决了FSDP版本选择的关键漏洞。
参与讨论