Prhub

#49690 [CI][ROCm] Fix `test_ocp_mx_wikitext_correctness` reference value

原始 PR 作者 fxmarty-amd 合并时间 2026-07-28 05:47 文件变更 1 提交数 3 评论 0 代码增减 +1 / -1

执行摘要

调整 MXFP4 测试参考值至 12.45

test_ocp_mx_wikitext_correctness 在 AMD CI 上持续失败(如 Buildkite 构建 #11168),实际测量值 12.5137 与期望值 12.4 不符。PR #46643 的 moe_sum 内核变更引入了无害的数值噪声,但测试需要更新参考值以适应新的累加精度。

简单查看即可,无需深入。这是一个典型的数值回退测试调整,值得注意的设计决策是更新期望值,而不是降低容差或禁用测试。这保持了 CI 的可信度。

讨论亮点

该 PR 没有 review 评论或公开讨论。审核者 tjtanaa 直接批准。

实现拆解

  1. tests/quantization/test_quark.py 的第 282 行,将 excepted_value 从 12.4 改为 12.45。
    - 该值位于 WIKITEXT_ACCURACY_CONFIGS 列表中,对应 AccuracyTestConfig(model_name="fxmarty/qwen_1.5-moe-a2.7b-mxfp4", excepted_value=12.45)
  2. 新值 12.45 略高于原始值 12.4,但仍在 rtol=0.1 的容差范围内,确保测试通过。
文件 模块 状态 重要度
tests/quantization/test_quark.py 量化测试 modified 3.59

关键源码片段

tests/quantization/test_quark.py test-coverage

MXFP4 准确率测试中 Qwen1.5-MoE-A2.7B 配置的期望值从 12.4 改为 12.45,以适配 `moe_sum` 内核变更后的数值行为。

# tests/quantization/test_quark.py, lines 272-284
# WIKITEXT_ACCURACY_CONFIGS 包含三个 MXFP4 量化模型的准确率期望值
WIKITEXT_ACCURACY_CONFIGS = [
    AccuracyTestConfig(
        model_name="fxmarty/qwen1.5_moe_a2.7b_chat_w_fp4_a_fp6_e2m3",
        excepted_value=11.3,
    ),
    AccuracyTestConfig(
        model_name="fxmarty/qwen1.5_moe_a2.7b_chat_w_fp6_e3m2_a_fp6_e3m2",
        excepted_value=10.6,
    ),
    # PR#49690: 因 moe_sum 内核累加精度改为 float 后数值略升,期望值从 12.4 → 12.45
    AccuracyTestConfig(
        model_name="fxmarty/qwen_1.5-moe-a2.7b-mxfp4", excepted_value=12.45
    ),
]

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低:仅更改测试期望值,不影响生产代码。数值变化由内核累积精度改进引起,已有独立的 kernel 级测试覆盖(见 tests/kernels/moe/test_moe.py)。

影响范围仅限 AMD CI 上的 test_ocp_mx_wikitext_correctness 测试。修复后该测试将稳定通过。

测试期望值漂移

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论