Prhub

#2788 docs: add the GLM-5.3-Flash RL recipe page

原始 PR 作者 Zhichenzzz 合并时间 2026-08-28 03:44 文件变更 4 提交数 1 评论 0 代码增减 +116 / -3

执行摘要

新增 GLM-5.3-Flash RL 配方文档页并接入导航

PR body 明确指出:GLM-5.3-Flash(model_type: glm5_next)是 45 层 KDA + DSA 混合架构,是 "a different architecture from the 744 B GLM5 line rather than a smaller cut of it",因此需要独立页面而非作为 glm5 / glm5-2 下的小节;同时页面刻意保持简短,只覆盖模型是什么、用哪个镜像、如何转换 checkpoint、launch 形态与健康 run 的报告,不做逐参数讲解,也不与其它文档页做交叉链接。

常规文档 PR,无需精读代码,但建议:

1) 用 2 分钟浏览页面结构与 #2786 的对应关系,确认命令和镜像版本;
2) 在 #2786 合并时做一次同步复核,避免文档与实现漂移。值得借鉴的是「文档先行 + 版本固定 + 验证范围声明」的写法,适合作为后续新模型配方文档的模板。

讨论亮点

本 PR 没有任何 review comment:claude[bot] 仅输出仓库手动 review 机制的自动提示,QQontheMoon 以空 body 直接 approve。没有技术争议或未解决疑虑;唯一的「风险讨论」是 PR body 自述——实现 PR #2786 尚未合并、文档先行、验证数据引用自 #2786 且仅 16 × 4 形态标记为 validated。

实现拆解

  1. 新增页面 docs/models/glm/glm5-3-flash.md:第 1 节给出架构参数(45 层混合:34 层 KDA 线性注意力 + 11 层 DSA 稀疏注意力;288 专家 top-8 sigmoid 路由,前 3 层稠密;逐块 mHC 超连接;NoPE MLA;kpool 压缩 lightning indexer;hidden 4096 / FFN 12288 / 64 头 / vocab 154880 / rotary base 800000;训练丢弃 MTP);第 2 节列出 Full、8 层切片、4 层切片三种变体及对应 --model-name;第 3 节固定镜像 docker.io/radixark/miles:glm53next 及 miles@1cd14c00、sglang-miles-glm53next@9a26e749、Megatron-LM#89@e8f57451 三个组件版本,并给出 hf downloadconvert_hf_to_torch_dist.py 转换命令(转换前由 miles/utils/external_utils/model_args_utils.py glm5.3-flash 生成 MODEL_ARGS_LINE,并设置 CONVERT_KEEP_PP1=1);第 4 节说明通过 ray cluster 与 MILES_SCRIPT_EXTERNAL_RAY=1 运行 scripts/run_glm5_3_flash.py train 的 launch 方式;第 5 节引用 #2786 的验证数据(16 × 4 GB300、DAPO 在 DAPO-Math-17k 上),仅 16 × 4 标记为 validated,8 × 4 与 6 × 4 仅列出。
  2. 注册 docs/docs.json:在 GLM 组 pages 数组首位插入 models/glm/glm5-3-flash,保证文档站侧边栏可见。
  3. 更新 docs/models/glm/index.md:description 加入 "KDA + DSA 混合" 表述;variants 表新增 GLM-5.3-Flash 行(45 层 · 288 专家 top-8);fastest path 列表追加 "Hybrid linear + sparse attention with mHC" 入口。
  4. 更新 docs/models/index.md:GLM 行首位插入 GLM-5.3-Flash 链接,保持总索引与系列索引一致。
    配套说明:无测试、schema 与部署改动,docs.json 的注册属于纯站点导航配置。
文件 模块 状态 重要度
docs/models/glm/glm5-3-flash.md 模型文档 added 4.4
docs/docs.json 文档导航 modified 2.76
docs/models/glm/index.md 模型文档 modified 2.8
docs/models/index.md 模型文档 modified 1.93

关键源码片段

docs/docs.json configuration

站点导航注册文件,新增页面若不在此注册不会出现在文档站侧边栏;GLM 组 pages 数组首位插入 glm5-3-flash。

{
  "group": "GLM",
  "pages": [
    // 新增的 GLM-5.3-Flash 页面注册:独立页面而非 glm5 下小节,
    // 与 docs/models/glm/index.md 的变体表保持一致
    "models/glm/index",
    "models/glm/glm5-3-flash",
    "models/glm/glm5-2",
    "models/glm/glm5",
    "models/glm/glm4-7-flash",
    "models/glm/glm4-5"
  ],
  "expanded": false
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险点集中在文档与实现的同步上:

1) 页面描写的 --model-name、转换命令、镜像 tag 与 launch 脚本均来自未合并的 #2786,若实现合并时细节调整,文档会失真;
2) docs/docs.json 的 pages 为手写路径且无自动化校验(仓库 CI 曾对 test-discovery 规则踩坑,路径拼错会静默丢失侧边栏入口);
3) 页面仅将 16 × 4 形态标记为已验证,8 × 4 与 6 × 4 只是 launcher assert 接受,用户按后两者运行可能遇到未覆盖的问题;
4) 镜像内固定了 miles、SGLang、Megatron-LM 三个 commit,组件升级重建镜像后若不更新文档表,用户会拿到过期信息。均为低概率、低影响的文档侧风险,不涉及代码路径。

影响范围限定在文档站点:新增 1 个页面并接入导航,两级索引同步更新;用户获得 GLM-5.3-Flash 训练入口(架构说明、镜像、转换、launch),团队确立了「文档先行」模式,可在 #2786 合并时对照复核。无代码、测试、镜像或训练链路影响,影响程度低。

文档先行于实现 PR 镜像版本需随组件升级同步 仅 16×4 形态已验证

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论