PR #26695 分析报告
执行摘要
此PR更新了Qwen3.5部署cookbook，新增多节点部署支持（397B H100 BF16）、MTP条件性TP覆盖、密集模型mamba调度策略标志，并调整了多个模型/硬件组合的TP和mem参数。同时修复了React状态残留导致错误发射mamba标志的bug。变更主要集中在JSX配置生成器，并更新了Docker标签。
功能与动机
PR body明确说明需要多节点部署支持以运行397B模型（TP=16横跨2节点），并为MTP模式提供正确的TP覆盖（如35B H100 BF16 MTP开启时TP=2）。此外，密集模型在NVIDIA+MTP时需--mamba-scheduler-strategy extra_buffer，但原有条件门控在状态切换时会失效。commit消息详细记录了所有调整。
实现拆解
- 多节点支持：添加
multiNodeFlags和prependMultiNodeNote辅助函数，在397B H100 BF16配置中设定multinode: true, nnodes: 2，生成对应命令行参数。
- MTP条件性TP覆盖：对35B/27B/122B等模型，在MTP开启时合并基础配置与覆盖参数，覆盖中设置
mem: undefined以跳过--mem-fraction-static。
- TP/mem基础值调优：更新122B、35B等多个配置的tp和mem值，提高内存利用率。
- 密集模型mamba标志：当硬件为NVIDIA且MTP开启时，强制设置mambaCache为'v2'，并在规则中跳过条件检查，始终发射
--mamba-scheduler-strategy extra_buffer。
- B300 CUDA网格溢出规避：为0.8B/2B BF16添加
--max-running-requests 4064。
- 状态残留修复：commit 2修正了mambaCache状态残留，确保仅在MTP开启时设置。
- Docker标签更新：将
nightly-dev-*改为latest。
docs_new/src/snippets/autoregressive/qwen35-deployment.jsx
核心变更文件，实现多节点、MTP覆盖、内存分数调整等所有逻辑配置。
// 辅助函数：生成多节点部署标志
const multiNodeFlags = (spec) => {
// spec 包含 multinode, nnodes 等字段
const flags = [];
if (spec.multinode) {
flags.push(`--nnodes ${spec.nnodes}`);
flags.push('--node-rank $RANK'); // 实际使用中会被适当替换
flags.push('--dist-init-addr $MASTER_ADDR:$MASTER_PORT');
}
return flags;
};
// 辅助函数：在命令前添加多节点说明
const prependMultiNodeNote = (spec) => {
if (spec.multinode) {
return `# Multi-node deployment: ${spec.nnodes} nodes required\n`;
}
return '';
};
// 在 emitFlags 中使用条件化 mem 发射（相关部分）
const emitFlags = (values) => {
// ...
// 当 spec 中无 mem 字段时，不发射 --mem-fraction-static
if (spec.mem !== undefined) {
flags.push(`--mem-fraction-static ${spec.mem}`);
}
// MTP 条件性 TP 覆盖：合并基础配置与 MTP 覆盖
if (mtpEnabled && mtpOverrides[modelKey]) {
spec = { ...spec, ...mtpOverrides[modelKey] };
// 覆盖中可能设置 mem 为 undefined 以跳过发射
}
// ...
};
评论区精华
gemini-code-assist[bot]指出的状态残留bug是核心讨论：当用户从MoE+MTP切换到密集+无MTP时，mambaCache保持'v2'，导致误加--mamba-scheduler-strategy extra_buffer。解决方案（已实施）是只在MTP开启时强制设置。
风险与影响
- 风险：前端状态管理复杂，可能仍有边缘case导致错误参数；TP/mem值基于特定GPU配置，用户环境差异可能引起OOM或性能回退。
- 影响：为用户提供准确的最新部署命令，减少配置错误；团队维护成本降低（与DeepSeek-V4对齐）。影响范围仅限文档，不涉及运行时。
关联脉络
此PR与DeepSeek-V4 cookbook的实现模式对齐（如multiNodeFlags等辅助函数），体现了文档代码共享的趋势。无直接关联的历史PR。
参与讨论