执行摘要

本 PR 为 verl 仓库添加图像奖励支持，是 FlowGRPO 训练的关键扩展。通过新增 VisualRewardManager 类和修改奖励循环，实现了生成奖励模型（如 OCR）和规则奖励（如 JPEG 压缩性），使图像生成模型训练成为可能。变更影响奖励系统架构，提升了多模态能力，并提供测试验证。

功能与动机

动机源于之前奖励模型不支持图像/视频输入，限制了 FlowGRPO 训练的应用。PR body 指出这是 #4639 和 #5297 的后续工作，旨在支持 QwenImage 训练。Issue 评论中 yyDing1 确认了此需求，表示之前实现缺少对视觉输入的支持。

实现拆解

• 新增 VisualRewardManager 类：位于 verl/experimental/reward_loop/reward_manager/visual.py，继承自 RewardManagerBase，专门处理视觉响应奖励计算，支持异步和同步评分。
• 修改奖励循环：在 verl/experimental/reward_loop/reward_loop.py 中，_preprocess_reward_inputs 方法现在根据响应维度（3D 为图像，其他为文本）区分输入类型，实现多模态预处理。
• 奖励函数实现：
  • compute_score_ocr：位于 examples/flowgrpo_trainer/reward_fn.py，使用生成奖励模型进行 OCR 评分，基于 Levenshtein 距离计算匹配度。
  • jpeg_compressibility.compute_score：位于 verl/utils/reward_score/jpeg_compressibility.py，提供基于 JPEG 压缩性的规则奖励。
• 工具函数：新增 pil_image_to_base64 和 prepare_query_for_multi_modal（verl/utils/experimental/reward_utils.py），支持图像到 base64 转换和多模态查询构建。
• 测试与 CI：新增单元测试文件 tests/experimental/reward_loop/test_visual_reward_manager.py，并更新 CI 工作流（.github/workflows/reward_model_vllm.yml）以集成测试。

评论区精华

• ZeroDivisionError 风险：gemini-code-assist[bot] 指出 compute_score_ocr 函数在 ground_truth 为空字符串时可能引发除以零错误，建议添加边界检查。作者在后续提交中可能已修复，但 review 中未详细说明。
• 设计决策：SamitHuang 提议将 ImageRewardManager 重命名为 VisualRewardManager 以覆盖图像和视频，作者采纳并修改，体现了设计的前瞻性。
• 代码结构优化：SamitHuang 建议通过 get_default_compute_score 函数改进 load_reward_manager 逻辑，作者实现此函数，简化了配置依赖。
• 奖励函数放置：讨论规则奖励应放在 jpeg_compressibility.py，而 OCR 作为生成奖励模型示例，强调了模块化设计原则。

风险与影响

风险分析：

• 正确性风险：compute_score_ocr 函数可能存在边界条件未处理，如空字符串导致的崩溃。
• 配置风险：奖励管理器类型依赖字符串配置，错误配置可能引发运行时问题。
• 性能风险：异步图像转换和网络请求可能增加延迟或内存消耗。
• 测试风险：新增测试仅覆盖基本场景，缺乏全面边缘案例验证。

影响分析：

• 用户影响：研究人员现在可以使用图像奖励进行 FlowGRPO 训练，扩展了应用范围，尤其是图像生成领域。
• 系统影响：奖励系统变得更加复杂，需要维护多模态处理逻辑，可能影响系统稳定性和性能。
• 团队影响：开发人员需学习新模块，可能增加代码审查和维护成本。

关联脉络

本 PR 是系列工作的一部分，关联 PR #4639、#5297、#5616 和 #5716，共同推进 FlowGRPO 训练能力，特别是针对 QwenImage。从近期历史 PR 看，仓库正专注于扩展训练功能（如 #5745 的教师模型支持），本 PR 在多模态奖励方面填补了空白，显示了架构向更通用方向演进。