Prhub

#27688 Fix flaky hicache l3 mmlu nightly test

原始 PR 作者 ispobock 合并时间 2026-06-10 10:01 文件变更 1 提交数 1 评论 3 代码增减 +0 / -21

执行摘要

移除 GLM-5 L3 nightly 中不稳定的 MMLU two-pass 测试

PR body 明确指出 MMLU two-pass 测试在 100 样本评估下 max accuracy-diff 0.02 的阈值过于严格,2-3 道题翻转即可超出,而 GSM8K two-pass 保持稳定。该测试已成为 nightly CI 的 flaky 来源,需要移除以恢复 CI 稳定性。

此 PR 为单纯的测试维护变更,不建议深入精读。但值得注意的决策经验:对于小样本评估,精度差异阈值应结合样本量合理设定,或改用 KL 散度等更稳定的指标。

讨论亮点

无 review 评论,仅 PR 作者自己合并。但 PR body 中解释了决策依据:0.02 精度差异在 100 样本 MMLU 上过于敏感(2-3 题翻转即超出),而 GSM8K 使用 200 样本则更稳定。KL 覆盖率测试将在后续 PR 中补充。

实现拆解

  1. 移除 MMLU 相关配置:在 AccuracyTwoPassMixintest/registered/radix_cache/unified_radix_tree/test_unified_radix_cache_kl_nightly.py)中删除 mmlu_thresholdnum_mmlu_examplesmmlu_num_threads 三个类属性。
  2. 移除 _run_mmlu 方法:删除原来用于运行 MMLU 评估的辅助方法,该方法通过 sglang.test.run_eval.run_eval 执行。
  3. 移除 test_mmlu_two_passes 测试用例:删除该测试方法,该方法依赖 _two_pass 机制进行精度一致性校验。
文件 模块 状态 重要度
test/registered/radix_cache/unified_radix_tree/test_unified_radix_cache_kl_nightly.py HiCache 测试 modified 5.08

关键符号

_run_mmlu test_mmlu_two_passes

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

无技术风险,仅移除一个不稳定的测试。但需要注意:KL 覆盖率测试尚未到位,该 PR 只移除了 flaky 测试,未替换为更稳定的机制。后续修复(如增大样本量或放宽阈值)未在本 PR 中实现。

对用户无影响。对系统:GLM-5 L3 nightly CI 将不再因 MMLU two-pass 测试误报失败,提高 CI 可靠性。对团队:暂时失去对 MMLU 精度一致性的自动化监控,需后续通过 KL 覆盖率或其他测试补充。

测试覆盖下降(MMLU 精度一致性测试被移除) 后续需补充 KL 覆盖测试

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论