执行摘要
本次PR主要更新了MTP示例配置,将GLM-4.5重命名为GLM-4.7,并清理了相关脚本和文档。这是一个常规维护性变更,旨在同步最新模型版本和优化示例配置,对用户影响较小但需注意文档引用更新。
功能与动机
为什么做:根据PR body描述,目的是重命名GLM-4.5为GLM-4.7,以反映模型升级;同时同步已验证的配置(如Qwen3.5-27B的4节点32k GRPO配置)并清理冗余脚本,提升示例的准确性和简洁性。
实现拆解
按模块拆解改动:
- 文档模块:删除旧版GLM-4.5文档(如
docs/en/examples/glm4.5-355B-A32B.md),新增GLM-4.7文档(如docs/en/examples/glm4.7-355B-A32B.md),并更新索引和快速入门指南中的链接。
- 脚本模块:重命名运行脚本(如
scripts/run-glm4.5-355B-A32B.sh改为run-glm4.7-355B-A32B.sh),修改配置参数,例如:
- 在
scripts/run-glm4.7-30B-A3B.sh中,将TP从4改为2,PP从1改为2,并更新投机解码步骤数。
- 在
scripts/run-deepseek-r1.sh中添加EAGLE MTP投机解码参数。
- 清理工作:移除内部集群环境变量(如NCCL_IB_*),删除冗余脚本
scripts/run-qwen3.5-35B-A3B.sh。
评论区精华
讨论摘要:review评论为空,表明本次变更未经过讨论,直接合并执行。
风险与影响
具体风险:
- 文档风险:旧文档链接失效,用户需更新引用;新增文档可能未充分测试配置。
- 兼容性风险:脚本参数更改(如并行设置)可能在某些部署环境中引发问题,建议验证新配置。
- 简化风险:清理环境变量可能影响特定集群的网络配置。
影响评估:
- 用户:需要适应新文档和脚本,但配置优化可能提升训练效率。
- 系统:文档和脚本更清晰,减少维护负担。
- 团队:支持GLM-4.7模型,保持示例库的时效性。
关联脉络
与历史PR的关系:
- 近期PR如#1721(添加Qwen3.5-4B支持)和#1742(优化qwen3.5 loss mask)同样涉及模型配置更新,表明仓库正在持续维护和扩展模型示例库。
- 本PR是这一趋势的一部分,专注于GLM模型版本的更新和配置同步,未引入新功能但强化了文档和脚本的可用性。
参与讨论