执行摘要
MiniMax-M3 文档新增 MMMU-Pro 精度数据
MiniMax-M3 cookbook benchmark 卡在 B200 行仅列出了 GPQA Diamond 和 GSM8K,缺少 MMMU-Pro(10 选多模态评测)。PR body 指出这是为了补全多模态评测数据,确保用户能复现和对比 M3 在 MMMU-Pro 上的表现。
简单且准确的文档更新,无需深入审查。可作为 MiniMax-M3 文档后续扩展的参考模式。
无 review 讨论。
MiniMax-M3 cookbook benchmark 卡在 B200 行仅列出了 GPQA Diamond 和 GSM8K,缺少 MMMU-Pro(10 选多模态评测)。PR body 指出这是为了补全多模态评测数据,确保用户能复现和对比 M3 在 MMMU-Pro 上的表现。
简单且准确的文档更新,无需深入审查。可作为 MiniMax-M3 文档后续扩展的参考模式。
无 review 讨论。
minimax-m3.jsx 的 benchmarkCommands.accuracy 对象中新增 mmmu_pro_pct 键,值为 sgl-eval run mmmu_pro 命令(使用 --thinking 及 M3 推荐采样参数);同时在 accuracyLabels 数组添加 ["mmmu_pro_pct", "MMMU-Pro", "%"] 行,使 UI 能渲染该指标。minimax-m3-benchmarks.jsx 的 B200 硬件配置行中,accuracy 对象新增 mmmu_pro_pct: 72.7,对应 sgl-eval 在“standard (10 options)”测试分片、1730 题、单次推理的 72.66%(四舍五入为 72.7)。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3.jsx |
文档配置 | modified | 5.27 |
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx |
文档配置 | modified | 4.49 |
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3.jsx
core-logic
注册 MMMU-Pro 精度复现命令和 UI 标签,是文档数据展示的核心配置入口。
// 在 benchmarkCommands.accuracy 中新增 mmmu_pro_pct 命令
accuracy: {
gsm8k_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run gsm8k ...`,
gpqa_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run gpqa ...`,
// 新增:MMMU-Pro 10 选多模态评测复现命令
mmmu_pro_pct: `pip install git+https://github.com/sgl-project/sgl-eval
sgl-eval run mmmu_pro \
--base-url http://{{CURL_HOST}}:{{CURL_PORT}}/v1 \
--model {{MODEL_NAME}} \
--temperature 1.0 --top-p 0.95 \
--thinking`,
},
// 在 accuracyLabels 数组末尾追加 MMMU-Pro 标签(UI 显示为 "MMMU-Pro")
accuracyLabels: [
["gpqa_pct", "GPQA Diamond", "%"],
["gsm8k_pct", "GSM8K", "%"],
["mmmu_pro_pct", "MMMU-Pro", "%"],
],
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx
core-logic
B200 行精度数据更新,实际填入 MMMU-Pro 数值。
// B200 行的 accuracy 对象新增 MMMU-Pro 精度值
accuracy: {
gpqa_pct: 89.1,
gsm8k_pct: 96.5,
mmmu_pro_pct: 72.7, // 新增:MMMU-Pro 标准 10 选测试分片,1730 题单次 72.66%
},
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
无技术风险。仅文档数据更新,不涉及运行时逻辑变更。需注意 MMMU-Pro 精度数据依赖 sgl-eval 的加载器(PR #19),若后续 sgl-eval 变更可能影响可复现性,但 PR 本身无风险。
影响范围仅限于 MiniMax-M3 cookbook 文档页面。B200 行新增一个精度指标,用户可参考和复现 MMMU-Pro 结果。其他硬件行未受影响。对系统性能、安全、API 无影响。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论