执行摘要
修复 Nemotron Cookbook 文档不一致
根据 PR body,作者指出文档中存在多处不一致:命令需要简化、已验证的 extra_buffer 未在所有地方添加、Spec V2 标志已被设为默认故移除。
纯文档修订,无明显风险,可供用户直接参考。
无 review 评论。
根据 PR body,作者指出文档中存在多处不一致:命令需要简化、已验证的 extra_buffer 未在所有地方添加、Spec V2 标志已被设为默认故移除。
纯文档修订,无明显风险,可供用户直接参考。
无 review 评论。
--mamba-scheduler-strategy extra_buffer 以及 --attention-backend trtllm_mha 的硬编码,改为在生成命令的循环中统一添加。extra_buffer 和 trtllm_mha:在命令构建函数中,始终添加 --mamba-scheduler-strategy extra_buffer,并在硬件为 Blackwell 时追加 --attention-backend trtllm_mha。SGLANG_ENABLE_SPEC_V2=1 前缀。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs_new/src/snippets/autoregressive/nemotron3-ultra-deployment.jsx |
代码片段 | modified | 6.65 |
docs_new/cookbook/autoregressive/NVIDIA/Nemotron3-Ultra.mdx |
文档 | modified | 4.09 |
docs_new/src/snippets/autoregressive/nemotron3-ultra-deployment.jsx
core-logic
核心交互式配置生成器,包含字段顺序调整、命令构建逻辑重构、移除过时环境变量等主要变更。
// 以下是变更后的命令构建函数(generateCommand)的完整实现片段
const generateCommand = (values) => {
const { tp, kvcache, model, hardware } = values;
const cfg = findVerified(model, hardware, tp);
// 如果所选组合不在已验证矩阵中,则返回阻止消息
if (!cfg) {
return [
'# This combination is not in the verified support matrix.',
'# Please consult the verified matrix below for supported configurations.'
];
}
const modelPath = MODEL_PATHS[model] || MODEL_PATHS['bf16'];
let cmd = `python3 -m sglang.launch_server \\n`;
cmd += ` --model-path ${modelPath} \\n`;
cmd += ` --trust-remote-code \\n`;
cmd += ` --tp ${tp} \\n`;
// 渲染所有选项的动态命令规则
for (const [key, option] of Object.entries(options)) {
if (option.commandRule) {
const rule = option.commandRule(values[key], values);
if (rule) {
cmd += ` ${rule} \\n`;
}
}
}
// 始终添加 extra_buffer,因为此混合 Transformer-Mamba 模型需要
cmd += ` --mamba-scheduler-strategy extra_buffer \\n`;
// Blackwell 硬件需要 trtllm_mha 避免 flashinfer 默认破坏重叠调度器
if (['b200', 'gb200', 'b300', 'gb300'].includes(hardware)) {
cmd += ` --attention-backend trtllm_mha \\n`;
}
if (kvcache && kvcache !== 'none') {
cmd += ` --kv-cache-dtype ${kvcache} \\n`;
}
if (cfg.multinode) {
cmd += ` --node-rank <0|1> \\n`;
}
// ... 后续命令拼接省略
return [cmd];
};
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险极低。变更仅涉及文档和交互式配置生成器,不包含任何运行时逻辑。生成的命令可能因文档版本与运行时版本不一致而略微偏差,但属于文档维护的正常范畴。
影响范围限于使用 Nemotron3-Ultra cookbook 文档的用户和开发者。交互式配置生成器的展示和命令行输出将更准确,端口和模型名称的统一降低用户困惑。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论