radixark/miles · 标签视图

升级 Megatron-LM 至 20260819 并全面适配 API 变更

值得精读。这是"大版本依赖升级如何控制风险面"的样板：以 base bump only 为边界、用显式禁用隔离未适配特性、把大特性拆成 follow-up PR。重点阅读 `miles/backends/megatron_utils/arguments.py` 中的数值决策注释与 `model.py` 中 MTP loss tracker 适配模式，以及 `update_weight/common.py` 的命名正则。同时建议关注 #2734 回退 `MEGATRON_BRANCH` 的原因，评估当前 bump 是否需补丁修缮。

为 GLM-4.7-Flash 与 JoyAI-LLM-Flash 显式声明 plain RoPE，修复 MLA 误用 YaRN

值得精读，尤其适合关注模型配置契约与训练框架隐式默认值交互的读者。本 PR 虽然只有 +12 行的最终改动，但完整呈现了一个隐蔽的配置错配 bug 的根因链条：模型定义遗漏参数 → 参数加载原样传递 → Megatron 侧隐式兜底 → 运行时构造错误的嵌入实现。值得借鉴的两个设计决策：一是“显式优于隐式”，在框架存在默认值填充逻辑时，模型定义应显式声明；二是合并前的 split-scope 纪律，未验证的 GLM-5 部分被果断剥离，避免把不确定性的风险带入主分支。

Qwen3.8-2.4T 训练 recipe 文档化，替换 PR 占位 stub

对计划在 GB300 上跑 Qwen3.8-2.4T-A95B LoRA RL 的工程师：值得精读，§6.2 的 NCCL 版本坑与 §6.4 的交替备份内存预算属于实测得出的硬经验。对文档维护者：注意本文档与 #2488 的强耦合，建议在 #2488 合并时同步 review 本文档。值得关注的设计决策是「任意时刻恰好一边持有 host backup」的内存预算推演，以及用 `zero_copy=True` 避免 clone 备份膨胀 malloc arena 的做法。

校准 lora E2E 时长估计，GLM5 矩阵减半

值得精读，尤其适合 CI 维护者和 e2e 测试作者。亮点在于：1）基于实测数据校准估计值的完整流程（公式、桶取整、跨夜验证）；2）通过互补对角线在保持全覆盖的前提下减半矩阵，并论证代码路径不相交的严谨性。可借鉴到其他耗时测试的优化中。

新增 GLM-5.2 744B LoRA agentic 多节点启动器示例

值得精读，尤其是对多节点 LoRA + agentic 训练且基础模型超过单机显存的用户。脚本中的 DSA 后端选择（tilelang vs megatron）、磁盘 offload 与 allocator env 设置均附有详细注释，设计决策清晰，可作为编写其他大型模型启动器的范本。

重写 LoRA 训练与托管指南，划分 Bridge/native 边界

该 PR 值得精读，尤其是作为"功能文档如何跟随实现演进"的范例。关注其如何清晰划分 Bridge/Native 两条路径、如何用验证矩阵避免过度承诺，以及如何在 review 中收敛图表与篇幅。对于 LoRA 相关开发与文档维护人员，建议以本文档为基线，在相关 roadmap PR（#1792、#2141、#2273、#2346）合并时同步更新。

移除过时备份开关，默认启用 rematerialize 权重重建

值得精读。该 PR 展示了三个有深度的工程决策：#725 前后内存语义演化如何让一个参数失去存在价值；冻结参数导致分布式 rank 集体序列发散（`_ALLGATHER_BASE` vs `_REDUCE_SCATTER_BASE`）的排查与回退；以 `--ci-test` 自动开启 SHA256 校验作为 CI 安全网的设计。阅读时建议重点关注 `tensor_backper.py` 的分支收敛和提交历史中默认范围从 6 个加载体收敛到 2 个的过程。

回滚过宽的 backuper 参数断言，修复 LoRA e2e CI 启动崩溃

值得快速阅读。虽然改动只有 8 行删除，但 PR body 展现了良好的工程判断：识别断言覆盖范围与实际行为（--colocate 隐式开启 offload_train）的偏差，并坚持把防御性检查放在真实故障点。建议关注后续 #2204 是否已合入，确认风险窗口已关闭。