Prhub

#29767 [CI] Relax ModelOpt NVFP4 diffusion consistency thresholds

原始 PR 作者 BBuf 合并时间 2026-07-01 14:45 文件变更 1 提交数 3 评论 2 代码增减 +12 / -0

执行摘要

放宽 ModelOpt NVFP4 Diffusion 一致性测试阈值

PR #29315 的 base CI 运行(ID 28428939882)中,flux2_modelopt_nvfp4_t2i 和 wan22_modelopt_nvfp4_t2v 两个 case 的一致性指标未通过默认阈值。例如 flux2 的 clip 为 0.9908,ssim 为 0.8864,而默认 ssim 阈值为 0.95,ssim 仅 0.8864 低于阈值;需要根据实际观测值调整阈值以反映当前量化精度水平。

建议合并。该 PR 属于标准的测试阈值维护,风险极低,且解决了实际的 CI 失败问题,有助于保持 CI 主干的绿色。值得关注的是其基于实际观测数据的阈值设定方法,可作为后续类似调整的参考。

讨论亮点

无 review 讨论。PR body 中作者 BBuf 提供了详细的失败指标数据和阈值设定理由,属于单向决策。

实现拆解

  1. 识别失败 case:从 CI 日志中确定 flux2_modelopt_nvfp4_t2iwan22_modelopt_nvfp4_t2v 两个 case 的失败指标。
  2. 添加专有阈值:在 python/sglang/multimodal_gen/test/server/consistency_threshold.jsoncases 对象中新增两个条目,分别设置 clip_threshold、ssim_threshold、psnr_threshold 和 mean_abs_diff_threshold 为基于观测值的合理值(如 flux2 的 ssim 从 0.95 降至 0.86,psnr 从 28 降至 17)。
  3. 保持全局缺省不变:其他 case 和全局阈值不受影响,确保风险隔离。
  4. 验证:通过本地检查新旧阈值能够允许观测到的 CI 失败指标通过。
文件 模块 状态 重要度
python/sglang/multimodal_gen/test/server/consistency_threshold.json 一致性测试 modified 3.93

关键源码片段

python/sglang/multimodal_gen/test/server/consistency_threshold.json test-coverage

唯一变更文件,为两个扩散模型 case 添加了专有的一致性测试阈值。

// python/sglang/multimodal_gen/test/server/consistency_threshold.json
// 新增 flux2_modelopt_nvfp4_t2i 和 wan22_modelopt_nvfp4_t2v 两个 case 条目
{
    "_comment": "Some cases use lower thresholds; raise them if quality/perf improves later.",
    "cases": {
        // ... 其他 case ...
        // 新增:flux2 图像生成,NVFP4 量化,阈值基于实际 CI 失败观测值
        "flux2_modelopt_nvfp4_t2i": {
            "clip_threshold": 0.92,
            "ssim_threshold": 0.86, // 原默认 0.95,实测 0.8864
            "psnr_threshold": 17.0, // 原默认 28.0,实测 17.4954
            "mean_abs_diff_threshold": 9.5 // 原默认 8.0,实测 8.7758
        },
        // ... 其他 case ...
        // 新增:wan22 视频生成,NVFP4 量化
        "wan22_modelopt_nvfp4_t2v": {
            "clip_threshold": 0.90, // 原视频默认 0.90,实测 0.9978
            "ssim_threshold": 0.90, // 原视频默认 0.92,实测 0.9097
            "psnr_threshold": 24.0, // 原视频默认 24.0,实测 32.0379
            "mean_abs_diff_threshold": 10.0 // 原视频默认 10.0,实测 4.3456
        },
        "fastwan2_2_ti2v_5b": {
            "clip_threshold": 0.90,
            "ssim_threshold": 0.88,
            "psnr_threshold": 24.0,
            "mean_abs_diff_threshold": 10.0
        }
        // ... 其余 case ...
    }
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

低风险。仅修改了测试配置文件,不涉及任何生产代码路径。新阈值是基于真实 CI 失败的观测值设定,但可能略低于理想精度水平;未来若模型量化质量提升,可考虑逐步收紧阈值。此外,该阈值调整仅针对特定模型+量化组合,不影响其他测试 case。

  • 用户/系统:无直接影响,因为仅为测试配置变更。
  • 团队:修复了扩散模型 NVFP4 量化在 B200 CI 上的持续失败,使得后续 PR 不会因此类 test noise 被阻塞。
  • 影响范围:仅限 B200 硬件上的 diffusion consistency 测试。
测试配置变更 低风险

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论