Prhub

#28062 docs(minimax-m3): warm-steady-state benchmark numbers

原始 PR 作者 JustinTong0323 合并时间 2026-06-12 23:42 文件变更 1 提交数 1 评论 1 代码增减 +14 / -10

执行摘要

修正 MiniMax-M3 基准测试为热稳态数据

PR body 明确指出:"The MiniMax-M3 cookbook (merged in #28060) reported B200/H200 bench_serving throughput from the cold-start first run (cuda-graph capture + JIT warmup, ~2x slow). This corrects them to the warm steady-state from a 3-run sweep."

此 PR 是文档修正,技术含量不高,但值得关注其对基准测试方法的澄清:准确区分冷启动与热稳态,对社区用户有参考价值。此外,B200 MSA 路径在负载下的准确率漂移是一个值得后续追踪的研究方向。

讨论亮点

PR 无 review 评论,审核人 zijiexia 直接批准。没有公开的讨论交锋。

实现拆解

仅修改了 docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx 文件,具体变更如下:

  1. 更新文件头部注释:说明速度数据来自 3 轮测试的热稳态(排除了冷启动第一轮),并补充了 GSM8K 准确率的 3 轮结果详情——H200 稳定在 97.04%(std=0.0),B200 的 fresh-server 值 94.4%(=greedy)在持续负载下会漂移(94.4→89.2→86.2),因此报告 fresh-server 值而非漂移后的均值,该问题被标记为 MSA 负载下的服务问题,正在调查中。
  2. 更新 B200 速度数据:TTFT 从 2410ms 更新为 749ms,TPOT 从 148.4ms 更新为 61.5ms,tokens_per_sec_per_gpu 从 124 更新为 249。注释从 "run-1 (3-run mean pending)" 改为 "warm steady-state (3-run, cold-start run-1 excluded)"。
  3. 更新 H200 速度数据:TTFT 从 1068ms 更新为 1054ms,TPOT 从 78.0ms 更新为 70.8ms,tokens_per_sec_per_gpu 从 105 更新为 116。注释同步更新。
  4. 更新 B200 GSM8K 注释:明确标注 fresh-server 值,并增加 NOTE 说明漂移现象,指出该问题不是模型准确率问题。
  5. 更新 H200 GSM8K 注释:指明 3 轮测试均稳定在 97.04%(std=0.0)。
文件 模块 状态 重要度
docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx 文档配置 modified 6.05

关键源码片段

docs_new/src/snippets/configs/MiniMaxAI/minimax-m3-benchmarks.jsx core-logic

唯一修改的文件,包含 MiniMax-M3 的所有基准测试数据。更新了 B200 和 H200 的吞吐量、延迟和 GSM8K 准确率数据及注释。

// MiniMax-M3 per-cell benchmark numbers, keyed by the same `match` tuple as
// minimax-m3.jsx cells. See _deployment.jsx for the speed/accuracy schema.
//
// SPEED — bench_serving --flush-cache, random isl2048/osl256, max_concurrency 64,
// CUDA graph on. B200 (tp4, MXFP8, MSA fmha_sm100 path) and H200 (tp8, bf16,
// built-in Triton sparse) are measured on PR #27944 — warm steady-state from a
// 3-run sweep (the cold-start first run, ~2x slower, is excluded).
//
// GSM8K — unified on a SINGLE harness: sgl-eval `run gsm8k`, full 1319-questions.
// 3-run results: H200 is stable at 97.04% (std 0.0); B200's fresh-server 94.4%
// (= greedy) drifts down over sustained runs interleaved with bench (an
// MSA-under-load serving issue under investigation), so it reports the
// fresh-server value, not the drifted mean.
export const benchmarks = [
  {
    match: { hw: "b200", variant: "default", quant: "mxfp8", strategy: "balanced", nodes: "single" },
    sglang_version: "PR #27944",
    speed: [
      // bench_serving --flush-cache, MSA path; warm steady-state (3-run, cold-start run-1 excluded).
      { workload: { dataset: "random", isl: 2048, osl: 256, max_concurrency: 64, num_prompts: 128 },
        ttft_ms: 749, tpot_ms: 61.5, tokens_per_sec_per_gpu: 249 },
    ],
    accuracy: { gsm8k_pct: 94.4 }, // fresh-server 94.4% (greedy 94.16%; --no-thinking 88.6%).
    // NOTE: 3 sustained runs interleaved with bench drifted 94.4->89.2->86.2 —
    // an MSA-under-load serving issue (under investigation), not the model accuracy.
  },
  {
    match: { hw: "h200", variant: "default", quant: "bf16", strategy: "balanced", nodes: "single" },
    sglang_version: "PR #27944",
    speed: [
      { workload: { dataset: "random", isl: 2048, osl: 256, max_concurrency: 64, num_prompts: 128 },
        ttft_ms: 1054, tpot_ms: 70.8, tokens_per_sec_per_gpu: 116 },
    ],
    accuracy: { gsm8k_pct: 97.0 }, // stable 97.04% across all 3 runs (std 0.0)
  },
  // ... other platforms remain unchanged
];

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

纯文档变更,仅修改了压力测试数据和注释。没有代码逻辑或配置变更,无回归、性能、安全或兼容性风险。但若未来重新跑基准测试并更新此文件时,应保持测试方法的统一性,避免数据前后不一致。

影响范围仅限于 MiniMax-M3 型号的部署文档展示。用户将看到更准确的性能数据(热稳态而非冷启动),对选型决策有正面作用。跨平台数据的一致性说明(如 B200 MSA 负载下的准确率漂移)为潜在问题时提供透明度。对系统无其他影响。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论