Prhub

#28668 docs(minimax-m3): add MMMU-Pro accuracy to B200 benchmark card

原始 PR 作者 JustinTong0323 合并时间 2026-06-19 02:40 文件变更 2 提交数 1 评论 1 代码增减 +9 / -1

执行摘要

MiniMax-M3 文档新增 MMMU-Pro 精度数据

MiniMax-M3 cookbook benchmark 卡在 B200 行仅列出了 GPQA Diamond 和 GSM8K,缺少 MMMU-Pro(10 选多模态评测)。PR body 指出这是为了补全多模态评测数据,确保用户能复现和对比 M3 在 MMMU-Pro 上的表现。

简单且准确的文档更新,无需深入审查。可作为 MiniMax-M3 文档后续扩展的参考模式。

讨论亮点

无 review 讨论。

实现拆解

  1. 注册精度命令与标签:在 minimax-m3.jsxbenchmarkCommands.accuracy 对象中新增 mmmu_pro_pct 键,值为 sgl-eval run mmmu_pro 命令(使用 --thinking 及 M3 推荐采样参数);同时在 accuracyLabels 数组添加 ["mmmu_pro_pct", "MMMU-Pro", "%"] 行,使 UI 能渲染该指标。
  2. 填入精度数据:在 minimax-m3-benchmarks.jsx 的 B200 硬件配置行中,accuracy 对象新增 mmmu_pro_pct: 72.7,对应 sgl-eval 在“standard (10 options)”测试分片、1730 题、单次推理的 72.66%(四舍五入为 72.7)。
  3. 文档注释更新:在 benchmarks.jsx 的 B200 行注释中追加 MMMU-Pro 测量说明(日期、测试分片、条件),确保数据溯源清晰。
文件 模块 状态 重要度
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3.jsx 文档配置 modified 5.27
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx 文档配置 modified 4.49

关键源码片段

docs_new/src/snippets/configs/MiniMaxAI/minimax-m3.jsx core-logic

注册 MMMU-Pro 精度复现命令和 UI 标签,是文档数据展示的核心配置入口。

// 在 benchmarkCommands.accuracy 中新增 mmmu_pro_pct 命令
accuracy: {
  gsm8k_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run gsm8k ...`,
  gpqa_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run gpqa ...`,
  // 新增:MMMU-Pro 10 选多模态评测复现命令
  mmmu_pro_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run mmmu_pro \
  --base-url http://{{CURL_HOST}}:{{CURL_PORT}}/v1 \
  --model {{MODEL_NAME}} \
  --temperature 1.0 --top-p 0.95 \
  --thinking`,
},// 在 accuracyLabels 数组末尾追加 MMMU-Pro 标签(UI 显示为 "MMMU-Pro")
accuracyLabels: [
  ["gpqa_pct", "GPQA Diamond", "%"],
  ["gsm8k_pct", "GSM8K", "%"],
  ["mmmu_pro_pct", "MMMU-Pro", "%"],
],
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx core-logic

B200 行精度数据更新,实际填入 MMMU-Pro 数值。

// B200 行的 accuracy 对象新增 MMMU-Pro 精度值
accuracy: {
  gpqa_pct: 89.1,
  gsm8k_pct: 96.5,
  mmmu_pro_pct: 72.7, // 新增:MMMU-Pro 标准 10 选测试分片,1730 题单次 72.66%
},

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

无技术风险。仅文档数据更新,不涉及运行时逻辑变更。需注意 MMMU-Pro 精度数据依赖 sgl-eval 的加载器(PR #19),若后续 sgl-eval 变更可能影响可复现性,但 PR 本身无风险。

影响范围仅限于 MiniMax-M3 cookbook 文档页面。B200 行新增一个精度指标,用户可参考和复现 MMMU-Pro 结果。其他硬件行未受影响。对系统性能、安全、API 无影响。

纯文档更新

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论