Prhub

#29200 [Cookbook] Nemotron3-Ultra: align MTP draft depth with NVIDIA reference (num_steps 5)

原始 PR 作者 b8zhong 合并时间 2026-06-25 03:12 文件变更 1 提交数 1 评论 1 代码增减 +1 / -1

执行摘要

修复 Nemotron3-Ultra MTP 参数与 NVIDIA 参考对齐

PR body 中说明 'Fix the inconsistency in MTP compare to other frameworks (vLLM, TensorRT-LLM)'。Nemotron3-Ultra 模型的 MTP 层数(draft depth)在 NVIDIA 参考实现中为 5 步,但先前文档中写为 3 步,导致用户部署时参数错误。

该 PR 较为简单,如果关注 Nemotron3-Ultra 模型部署,可以精读此文档。主要为保持与其他框架的参数一致性。

讨论亮点

无 review 评论,PR 直接获得审核者 zijiexia 批准。

实现拆解

docs_new/src/snippets/autoregressive/nemotron3-ultra-deployment.jsx 文件中,将 MTP 配置的 commandRule--speculative-num-steps3 改为 5,并将 --speculative-num-draft-tokens4 改为 6(因为 num-steps 5 且 topk 1,draft tokens = num-steps * topk = 5,但文档中保持为 6 可能是为了预留一个额外 draft token,此处按原逻辑对齐)。其余参数不变。

文件 模块 状态 重要度
docs_new/src/snippets/autoregressive/nemotron3-ultra-deployment.jsx 文档示例 modified 4.09

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

该变更仅修改文档示例中的命令行参数,不涉及任何运行时逻辑。风险极低:错误参数可能导致 MTP 性能下降或推理失败,但正确数值与官方参考一致,无回归风险。

影响范围仅限于 cookbook 文档页面的 Nemotron3-Ultra 部署示例。用户按照更新后的参数部署,将获得与 NVIDIA 参考一致的 MTP draft 深度。影响程度小,但改善了下游用户的部署准确性。

极少变更

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论