Prhub

#29253 Add MiMo V2.5 Blackwell vision FA4 recipe

原始 PR 作者 BBuf 合并时间 2026-06-25 13:47 文件变更 2 提交数 1 评论 1 代码增减 +4 / -2

执行摘要

为 MiMo V2.5 添加 Blackwell Vision FA4 配方

MiMo V2.5 多模态检查点的视觉编码器内部请求 FlashAttention-3,但 SGLang 在 Blackwell GPU 上拒绝 FA3 后端。Pro 版本已使用 FA4,但 base 版本未覆盖多模态注意力后端,需要为 Blackwell 添加 --mm-attention-backend fa4

该 PR 是配置修复和文档更新,值得参考其处理多模态后端兼容性问题的方式。

讨论亮点

该 PR 无实质 review 讨论,仅有一位审核者批准。

实现拆解

  1. 修改 JSX 部署代码片段 (docs_new/src/snippets/autoregressive/mimo-v25-deployment.jsx):在模型变体为非 Pro 且硬件为 Blackwell(B200/GB300)时,向命令数组中添加 --mm-attention-backend fa4 标志。同时更新注释标注 Blackwell 上的视觉 FA4 需求。
  2. 更新 MDX 文档 (docs_new/cookbook/autoregressive/Xiaomi/MiMo-V2.5.mdx):添加一条说明,指导用户在 Blackwell 上部署 MiMo V2.5 时必须传递 --mm-attention-backend fa4,并解释其原因。
文件 模块 状态 重要度
docs_new/src/snippets/autoregressive/mimo-v25-deployment.jsx 部署脚本 modified 5.22
docs_new/cookbook/autoregressive/Xiaomi/MiMo-V2.5.mdx 文档 modified 2.0

关键源码片段

docs_new/src/snippets/autoregressive/mimo-v25-deployment.jsx core-logic

核心变更文件,添加了 Blackwell 下 `--mm-attention-backend fa4` 标志的逻辑分支。

// ... 在 buildFlags 函数内的 Blackwell 分支中,针对非 Pro 模型添加视觉注意力后端
} else {
  // 当模型为 MiMo V2.5(非 Pro)且硬件为 Blackwell 时,
  // 必须传递 --mm-attention-backend fa4,因为视觉编码器需要 FA4 后端
  if (blackwell) flags.push("  --mm-attention-backend fa4");
  flags.push("  --mem-fraction-static 0.65");
  flags.push("  --chunked-prefill-size 16384");
}
// ... 其余标志

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低:变更仅影响配置生成和文档,不影响核心运行时逻辑。若条件判断错误可能导致非 Blackwell 硬件错误地添加此参数,但代码通过 blackwell 变量限制仅对 B200/GB300 生效。

影响范围小:仅影响 MiMo V2.5 多模态模型在 Blackwell GPU 上的部署。确保用户生成的运行命令能正确启动视觉编码器,避免因后端不支持而报错。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论