PR 说明原先的 --mem-fraction-static 0.9 对于 B200 MoE 方案过于激进，因为模型使用 Triton fused-MoE 路径，在服务时需要额外的工作空间。B200 cookbook 验证成功使用了 0.75，因此选择器应采用该工作值。
对于部署 Gemma4 26B-A4B 在 B200 上的用户，建议采用此配置；对于其他模型或硬件组合，无影响。
无 review 讨论。仅有一条来自 gemini-code-assist[bot] 的 quota 提示，与变更无关。
docs_new/src/snippets/autoregressive/gemma4-deployment.jsx 中，将 b200 型号下 '26b-a4b' 的 mem 值从 0.9 改为 0.75。docs_new/cookbook/autoregressive/Google/Gemma4.mdx 中新增一条说明，提示用户对 Gemma 4 26B-A4B 使用 --mem-fraction-static 0.75 为 Triton MoE 路径预留工作空间。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs_new/src/snippets/autoregressive/gemma4-deployment.jsx |
文档片段 | modified | 4.32 |
docs_new/cookbook/autoregressive/Google/Gemma4.mdx |
文档 | modified | 2.0 |
docs_new/src/snippets/autoregressive/gemma4-deployment.jsx
core-logic
修改了 B200 上 26B-A4B 模型的默认内存占比，这是自动命令生成的入口。
// 模型配置表，定义了不同硬件 / 模型组合的 TP 和内存占比
const modelConfigs = {
h200: {
e2b: { tp: 1, mem: 0.85 },
e4b: { tp: 1, mem: 0.85 },
'12b': { tp: 1, mem: 0.85 },
'31b': { tp: 2, mem: 0.85 },
'26b-a4b': { tp: 1, mem: 0.85 },
},
b200: {
e2b: { tp: 1, mem: 0.9 },
e4b: { tp: 1, mem: 0.9 },
'12b': { tp: 1, mem: 0.9 },
'31b': { tp: 1, mem: 0.9 },
// 26B-A4B 使用 0.75 而不是 0.9，为 Triton 融合 MoE 内核预留工作空间
'26b-a4b': { tp: 1, mem: 0.75 },
},
b300: {
e2b: { tp: 1, mem: 0.9 },
e4b: { tp: 1, mem: 0.9 },
'12b': { tp: 1, mem: 0.9 },
'31b': { tp: 1, mem: 0.9 },
'26b-a4b': { tp: 1, mem: 0.9 },
},
mi300x: {
'31b': { tp: 1, mem: 0.80 },
'26b-a4b': { tp: 1, mem: 0.80 },
},
};
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
本次变更风险极低。仅修改了文档和部署选择器中的数值，不影响核心代码逻辑。唯一风险是若后续模型需要更高的内存比例，0.75 可能导致 OOM，但 PR 已基于实际验证确认其可行性。
影响范围局限于 Gemma4 26B-A4B 模型在 B200 上的默认部署配置。用户通过自动命令生成器得到的 --mem-fraction-static 参数将从 0.9 变为 0.75，提高可靠性。手动部署的用户不受影响。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
参与讨论