执行摘要
本次PR放松了扩散模型在PR测试中的性能阈值,通过调整perf_baselines.json中的基准值,减少CI假阳性失败,以配合性能控制责任转移至nightly-ci的新策略。
功能与动机
变更的动机源于性能监控策略的调整:根据PR body描述,性能控制和跟踪已转移到nightly-ci(具体在nightly-test-diffusion-comparison中)。因此,需要放松PR测试的阈值,避免因性能波动导致不必要的CI失败,让PR测试更专注于功能验证而非性能监控。
实现拆解
变更仅涉及一个文件:python/sglang/multimodal_gen/test/server/perf_baselines.json。具体修改包括:
- 将
pr_test下的指标阈值提高:
e2e从0.15增加到0.2
denoise_stage从0.1增加到0.2
non_denoise_stage从0.6增加到0.8
- 调整
TimestepPreparationStage的值从47.26到422.21
这些改动使得性能测试的容错范围更宽,适应了新的CI策略。
评论区精华
Review过程非常简单,只有一个自动评论:
gemini-code-assist[bot] commented: “I have no feedback to provide.”
没有其他人工评论或讨论,变更直接通过,未引发技术争议或设计权衡。
风险与影响
风险分析:
- CI测试阈值放松后,可能无法及时捕获性能回归,例如e2e阈值提高可能导致端到端性能下降未被PR测试检测。
- 依赖nightly-ci进行性能监控,如果nightly-ci运行不稳定或监控不足,可能影响整体质量保证。
影响分析:
- 对用户:无直接影响,因为这是内部CI配置。
- 对系统:PR测试通过率可能提高,减少开发流程中的中断。
- 对团队:需要确保nightly-ci有效运行,并可能调整测试策略以平衡快速反馈和深度监控。
关联脉络
从历史PR看,此变更与近期diffusion模块的CI改进相关:
- PR #21653修复了diffusion仪表板图表显示问题,同属diffusion CI优化脉络。
- PR #21625通过使用离线量化检查点提升CI测试稳定性,共享了测试配置和性能基准主题。
这些PR共同反映了团队在强化diffusion模块测试和监控方面的持续努力。
参与讨论