Prhub

#25359 [Docs] MiMo-V2.5 cookbook: B200 benchmarks + multi-layer EAGLE acceptance profile + long-context reference

原始 PR 作者 JustinTong0323 合并时间 2026-05-20 14:15 文件变更 2 提交数 2 评论 2 代码增减 +194 / -12

执行摘要

MiMo-V2.5 cookbook 填充 B200 基准测试并启用 Blackwell 多层 EAGLE

此前文档中存在四个 Pending update 区块,缺乏 B200 基准测试数据;同时 --enable-multi-layer-eagle 因多线程加载器 OOM(#25748)在 Blackwell 上被禁用,修复后需要更新文档以反映可用性。

建议 MiMo-V2.5 用户阅读此 cookbook 获取 B200 性能数据和多层 EAGLE 配置说明。文档展示了多 EAGLE 层接受率的实际影响,对性能调优有参考价值。

讨论亮点

无审查评论,PR 直接被批准。通过关联 Issue #25748 讨论了多线程加载器 OOM 修复,使得 Blackwell 上启用 multi-layer EAGLE 成为可能。

实现拆解

  1. 填充 benchmark 数据:在 MiMo-V2.5.mdx 的 §5.1.1、§5.2.1、§5.2.2 中填入实测的 GSM8K 得分、延迟/吞吐数据。
  2. 新增分析章节:添加 §5.4 多层 EAGLE 接受率分析(基于 307 个 batch 日志)和 §5.5 长上下文预填充与 MTP 解码参考。
  3. 修正 JSON 布尔值:在 mimo-v25-deployment.jsx 中将 "enable_multithread_load": "true" 改为 true(两处),消除字符串与布尔值混用导致的潜在问题。
  4. 移除 Blackwell 条件限制:将 if (!blackwell) flags.push(...) 改为无条件推送 --enable-multi-layer-eagle,允许在 Blackwell 上启用多层 EAGLE(依赖 #25748 修复)。
  5. 更新文字说明:在 §3.2 中注明多层 EAGLE 同时适用于 Hopper 和 Blackwell。
  6. 验证:所有 benchmark 在 8×B200 上运行通过,本地文档渲染检查正常。
文件 模块 状态 重要度
docs_new/cookbook/autoregressive/Xiaomi/MiMo-V2.5.mdx cookbook 文档 modified 5.14
docs_new/src/snippets/autoregressive/mimo-v25-deployment.jsx 部署脚本 modified 4.79

关键源码片段

docs_new/src/snippets/autoregressive/mimo-v25-deployment.jsx core-logic

部署命令生成器的关键修正:修复 JSON 布尔值和移除条件限制,直接影响用户复制的启动命令的正确性。

// 提取自 MiMoV25Deployment 组件,展示启动参数生成逻辑中的关键修正
if (isPro) {
  if (blackwell) {
    // ... 其他 flags
    // 修正 : enable_multithread_load 为布尔值,非字符串
    flags.push(`  --model-loader-extra-config '{"enable_multithread_load": true, "num_threads": 64}'`);
  } else {
    // Hopper 分支同样修正布尔值
    flags.push(`  --model-loader-extra-config '{"enable_multithread_load": true, "num_threads": 64}'`);
  }
}if (useMtp) {
  flags.push("  --speculative-algorithm EAGLE");
  flags.push("  --speculative-num-steps 3");
  flags.push("  --speculative-eagle-topk 1");
  flags.push("  --speculative-num-draft-tokens 4");
  // 移除 !blackwell 判断,在 Blackwell 和 Hopper 上均启用多层 EAGLE
  flags.push("  --enable-multi-layer-eagle");
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

低风险。修改主要涉及文档内容和生成部署命令的脚本修正。JSON 布尔值修正避免用户因字符串类型导致启动失败;条件移除使 Blackwell 用户能够正确启用 multi-layer EAGLE,配合 #25748 修复不会出现 OOM。

影响 MiMo-V2.5 的用户,提供准确的 B200 基准测试参考和正确的部署命令。对现有部署无影响,仅为文档更新。

依赖外部修复 配置字符串修正

关联 Issue

#25748 loader: yield filtered MTP weights lazily to avoid OOM hang on multi-layer EAGLE

完整报告

参与讨论