Prhub

#29824 [diffusion] CI: tighten multimodal-gen consistency thresholds

原始 PR 作者 mickqian 合并时间 2026-07-02 01:32 文件变更 1 提交数 3 评论 1 代码增减 +141 / -141

执行摘要

收紧 diffusion CI 一致性阈值基于最新运行数据

根据 PR body,最近一次 main 分支 scheduled multimodal-gen run(run 27242606028)成功完成后,作者希望基于 worst observed metric 收紧阈值,保持保守的 margins 和 caps,以防止实现在不知不觉中退化而 CI 仍报通过。仅收紧现有 override 项,不修改全局默认值或新增 case。

这是一个良好的 CI 阈值维护实践,值得其他测试套件借鉴其基于历史数据 + 保守 margin 的系统性收紧方法。PR 本身简单,但背后的方法论可复用。建议开发者阅读 PR body 中的规则定义,用于指导类似配置更新。

讨论亮点

无人类 review 评论,仅有一个自动化 bot(Gemini Code Assist)回复,表示无额外反馈。

实现拆解

  1. 唯一变更文件python/sglang/multimodal_gen/test/server/consistency_thresholds/h100.json,其内容完全是 case 级别的阈值字典。
  2. 规则:对每个已有 case 的四个指标分别使用固定公式——clip_threshold: latest worst clip 减 0.02,上限 0.98;ssim_threshold: latest worst SSIM 减 0.04,上限 0.95;psnr_threshold: latest worst PSNR 减 3 dB,上限 30 dB;mean_abs_diff_threshold: latest worst mean abs diff 加 3,下限 4。
  3. 变更范围:覆盖所有约 20+ 个 case(如 flux_image_t2i、ideogram4_nvfp4_t2i、qwen_image_edit_ti2i 等),修改了每个 case 的四个数值到更严格的方向。
  4. 配套测试:无代码逻辑测试,但本地执行了 python3 -m json.tool 验证 JSON 格式正确性,以及 git diff --check 检查空白问题。
  5. 验证:PR 提交后触发 CI(run-ci 标签),结果中 pr-test 通过,pr-test-extra 失败(但似乎是已知的额外测试问题,与本次更改无关)。
文件 模块 状态 重要度
python/sglang/multimodal_gen/test/server/consistency_thresholds/h100.json 测试配置 modified 6.23

关键源码片段

python/sglang/multimodal_gen/test/server/consistency_thresholds/h100.json test-coverage

唯一变更文件,调整了所有 20+ 个测试用例的 4 个一致性指标阈值,基于最新 CI 运行数据。这是提升测试灵敏度的核心操作。

{
    // 示例:ideogram4_nvfp4_t2i 的收紧前后对比
    // ( 注释遵守盘古排版:中文与英文、数字之间留空格 )
    "clip_threshold": 0.98, // 从 0.97 收紧 ( 减 0.02 后 cap 0.98)
    "ssim_threshold": 0.95, // 从 0.78 大幅收紧 ( 减 0.04 后 cap 0.95)
    "psnr_threshold": 18.0, // 保持不变 ( 历史观测值未触发减小 )
    "mean_abs_diff_threshold": 4.0 // 从 18.0 断崖式收紧 ( 加 3 后 floor 4)
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险较低。主要风险:新的阈值基于单次 CI 运行,如果该运行有偶发波动,可能导致假阳性失败。但 margin 设计(最差观测值再减固定量)预留了缓冲。另外,若模型质量本身因合法优化而提升,阈值不会自动放宽(需手动更新),但这不是本 PR 引入的缺陷。建议后续持续监控 CI 稳定性,必要时根据更长时间窗口调整阈值。

直接影响 diffusion 测试套件:clip、ssim、psnr 和 mean_abs_diff 指标更严格,稍有退化便会触发失败。这对开发者意味着 CI 会更灵敏地捕获潜在质量问题,但可能增加维护成本(需确认失败是否合理)。不影响系统性能或功能逻辑。团队需知晓新的标准,避免无意中提交降低输出的变更。

配置数据依赖一次运行 需持续监控基线稳定性

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论