Prhub

#20862 [Diffusion] add FireRed-Image-Edit models

原始 PR 作者 yuumn 合并时间 2026-03-23 10:27 文件变更 2 提交数 4 评论 15 代码增减 +15 / -0

执行摘要

添加 FireRed-Image-Edit 模型支持,解决配置差异问题。

FireRed-Image-Edit模型结构与Qwen-Image-Edit系列一致,但配置中缺失'zero_cond_t'字段,且多模态token ID放置于text_config中,导致部署时出现AttributeError。PR旨在解决这些问题以实现SGLang Diffusion对这两个模型的正确支持。

该PR值得精读,了解如何通过配置适配扩展新模型支持,重点关注token ID字段的添加和注册逻辑的设计决策。

讨论亮点

review中讨论了是否需要model_detectors参数,mickqian询问其必要性,yuumn测试后移除以避免冗余;gemini-code-assist[bot]评论实现正确。

实现拆解

在registry.py中添加FireRed-Image-Edit模型的注册,使用与Qwen-Image-Edit-2509相同的pipeline_config和sampling_param;在qwen_image.py的QwenImageArchConfig类中添加vision_start_token_id、vision_end_token_id、vision_token_id、image_token_id、video_token_id字段,以适配新模型的配置结构。

文件 模块 状态 重要度
python/sglang/multimodal_gen/registry.py multimodal_gen modified 6.0
python/sglang/multimodal_gen/configs/models/encoders/qwen_image.py multimodal_gen/configs modified 5.0

关键符号

QwenImageArchConfig _register_configs

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

model_detectors 参数移除 设计

mickqian 询问是否需要 model_detectors,yuumn 测试后移除以避免冗余。

结论:移除 model_detectors,因为注册时不需要。 · 已解决

风险与影响

修改QwenImageArchConfig类添加字段可能影响Qwen系列模型,但作者验证token ID值与Qwen系列相同,不引入回归风险;注册配置选择需确保与模型兼容,测试已通过验证,风险低。

用户可部署FireRed-Image-Edit模型,扩展了SGLang的模型覆盖;系统层面仅扩展注册和配置,对核心路径无影响;团队方面展示了如何通过配置适配扩展外部模型支持。

配置变更风险 测试覆盖

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论