执行摘要
修复 VLM 中 --mm-process-config 参数未传递给所有模型的问题,通过按模态分离配置避免冲突。
根据 issue #14672,用户设置 --mm-process-config 参数后,除了 Qwen VL 外,其他模型如 InternVL、LLaVA、MiniCPM 等均未生效。PR body 指出,之前尝试的 PR #14968 由于使用 kwargs.update() 导致参数冲突(例如 image 和 video 配置共享相同键时被覆盖),本 PR 旨在彻底解决此问题。
该 PR 值得精读,特别是对于处理多模态配置和 HuggingFace 处理器集成的设计决策。关注点包括:如何使用 setdefault().update() 优雅地合并配置,以及如何通过验证和测试确保健壮性。对于维护者,可以学习避免参数冲突的模式。
review 中主要讨论点包括:gemini-code-assist[bot] 建议改进 midashenglm.py 的代码可读性和测试命名,edwingao28 采纳了建议;yuan-luo 询问为何 qwen_vl.py 无需改动,edwingao28 解释因继承基类而 ernie45_vl 需显式添加;mickqian 建议将验证逻辑提取到单独函数 _handle_multimodal(),edwingao28 表示已解决。没有未解决的疑虑,所有反馈都被整合。
参与讨论