Prhub

#2381 docs: recipe pages for Kimi-K3, Nemotron-3-Ultra and Gemma-4

原始 PR 作者 Zhichenzzz 合并时间 2026-08-12 07:04 文件变更 9 提交数 7 评论 0 代码增减 +559 / -9

执行摘要

补齐 Kimi-K3、Nemotron-3-Ultra、Gemma-4 配方文档

PR body 明确指出“Brings the model docs in line with what scripts/ actually ships”,即文档与仓库实际提供的脚本脱节:Gemma-4 26B-A4B、Gemma-4 31B、JoyAI-LLM-Flash、Nemotron-3-Ultra-550B-A55B 早已有 launch 脚本且已在首页广告,但在支持模型总表中缺失、且没有 recipe 页面,只能链向裸脚本或 PR 链接;Kimi-K3 同样只有 #1825 的 PR 链接。此前文档站承诺每个模型都有 recipe 页,裸脚本链接破坏了这一契约。

值得精读,尤其是 docs/models/nemotron/nemotron-3-ultra.mdn_groups=8 如何约束整个并行布局的分析,以及 docs/models/kimi/kimi-k3.md 关于 LoRA 适配 MXFP4、CUDA IPC 权重同步与 lora_base_cpu_backup 的工程细节——这些是文档里最接近设计文档的内容。对团队的意义在于确立了 recipe 页必须只引用已存在资源、并与 scripts/ 保持一致内容的约定。

讨论亮点

该 PR 没有任何 review 评论,Shi-Dong 直接 APPROVE。唯一值得关注的是合入前最后一个 commit(a2147fa)由 maintainer 直接修正的两处内容错误:Ultra launcher 没有 worker 子命令,多节点运行必须起外部 ray 集群并设置 MILES_SCRIPT_EXTERNAL_RAY=1;Gemma-4 31B 依赖的 Megatron-Bridge 分支实际是 zhichen/gemma4-dense 而非 gemma4-dense。这些修正表明合并阶段对“文档与脚本一致性”做了实质校验。

实现拆解

实现过程按以下步骤展开:

  1. 新增三个 recipe 页面docs/models/kimi/kimi-k3.md(176 行)、docs/models/nemotron/nemotron-3-ultra.md(172 行)、docs/models/gemma/gemma-4.md(151 行),统一采用六段式结构(模型介绍、支持变体、环境准备、启动、配方配置、搭配阅读)。内容均从 scripts/run_nemotron_3_ultra_550b_a55b.pyscripts/run_gemma_4_26b_a4b.pyscripts/run_gemma_4_31b.pyscripts/models/* 及 launcher 快照中提取,包括并行配置、SGLang 引擎参数、LoRA 目标模块、健康运行指标等。
  2. 新增/更新家族索引:新建 docs/models/gemma/index.md(39 行),作为 Gemma 家族入口;在 docs/models/nemotron/index.md 表格中加入 Ultra 行,并补充“最大、跨 16 节点 latent MoE”的选型提示。
  3. 更新导航配置docs/docs.json 中 Kimi 分组加入 models/kimi/kimi-k3,Nemotron 分组加入 models/nemotron/nemotron-3-ultra,并新建 Gemma 分组(root 指向 models/gemma/index)。
  4. 对齐两张模型总表docs/index.mddocs/models/index.md 将 Kimi-K3、Nemotron-3-Ultra、Gemma-4 的链接从裸脚本/PR 链接替换为 recipe 页链接,并补齐 Inkling-Small 与 JoyAI-LLM-Flash 行,使两份列表在家族顺序与条目上保持一致。
  5. 清理过时指针docs/models/thinkingmachines/inkling.md 删除已合并 PR#1683 的指引行。
  6. 配套与修正:纯文档变更,无源码/测试配套;合入前由 maintainer Shi-Dong 在最终 commit 中修正了 Ultra 的多节点启动命令与 Gemma-4 31B 依赖的 Megatron-Bridge 分支名两处实质性错误。
文件 模块 状态 重要度
docs/models/kimi/kimi-k3.md 模型文档 added 5.13
docs/models/nemotron/nemotron-3-ultra.md 模型文档 added 4.95
docs/models/gemma/gemma-4.md 模型文档 added 4.9
docs/models/gemma/index.md 模型文档 added 3.84
docs/docs.json 导航配置 modified 3.78
docs/models/index.md 模型文档 modified 2.71
docs/index.md 模型文档 modified 2.22
docs/models/nemotron/index.md 模型文档 modified 1.93
docs/models/thinkingmachines/inkling.md 模型文档 modified 1.73

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

Nemotron-3-Ultra 启动命令与 Gemma bridge 分支名勘误 正确性

合入前最后一个 commit 由 Shi-Dong 直接修正两处内容错误:Ultra launcher 没有 worker 子命令,多节点运行必须自行起外部 ray 集群并设置 MILES_SCRIPT_EXTERNAL_RAY=1;Gemma-4 31B 依赖的 Megatron-Bridge 分支实际为 zhichen/gemma4-dense 而非 gemma4-dense。这两处问题未出现在 review 评论中,而是在合并阶段被维护者发现并修复。

结论:两处错误已在 PR 内修复,文档与脚本行为对齐后再合并。 · 已解决

风险与影响

纯文档变更,无运行时代码风险,但存在以下具体风险:

  • 内容依赖未合入 PRdocs/models/kimi/kimi-k3.md 整页引用的脚本、radixark/miles:kimi-k3 镜像及 sglang-miles-k3 分支均来自未合入的 #1825;若读者在 main 上按文档操作会直接失败。页面虽已声明,但链接可解析性无法保证。
  • 文档与脚本手工同步漂移:页面参数(如 --rollout-max-concurrency 默认值、--sglang-mem-fraction-static)由人从 launch 脚本提取,脚本后续变更不会自动同步到文档,存在再次漂移的可能。
  • 无自动化校验:PR 检查仅人工核对链接与脚本,仓库没有针对 docs 链接的 CI 检查(如 dead-link 或 libcst),合并冲突(如与 #2391 在 docs/models/index.md 的行冲突)需要人工处理。
  • 桥梁分支依赖:Gemma-4 31B 依赖 zhichen/gemma4-dense 个人分支,分支被删除或改名前文档即失效。

影响范围集中在 docs/ 下 9 个文件:为三个模型家族补全了结构化配方文档,用户可以从裸脚本链接升级为带约束解释、变体对比、健康运行指标的教程;Kimi-K3 的“MXFP4 直训 + LoRA + colocated SGLang”16 节点配方首次获得完整说明。对团队而言,恢复了“每个模型都有 recipe 页”的文档契约,并让首页与模型总表呈现同一份模型清单,降低用户困惑与支持成本。对源码、运行时、构建链路均无影响。

依赖未合入 PR#1825 的分支内容 文档与脚本手工同步易漂移 外部分支引用对个人仓库有依赖 无自动化链接校验

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论