radixark/miles · 标签视图

gpu 模式重排交接顺序，缓解 GB300 主机内存峰值

值得精读。核心看点是 `train.py` 中 handoff 重排的先后顺序论证，以及 `rollout_manager` 细粒度 offload API 如何与 `offload_rollout_level` 配合达到语义自洽。由于没有单测，建议结合 #2706 的 e2e 验证上下文阅读，并关注后续是否补强测试，尤其是 `cpu` 模式下 `onload_weights` 新增 guard 的兼容性测试。

清空 TE 量化缓存，offload 省 45% 主机内存流量

本 PR 值得精读。diff 极小（+32/-1），但有两层学习价值：一是 PR body 展示了如何用“每元素字节数 × 模块数”做理论测算并与实测对照（91%/96% 兑现率），并清晰量化了 MXFP8 与 NVFP4 两种布局的成本差异；二是评审者的收敛过程说明——默认开启的开关配 assert 会误伤无关配置（bf16 + CUDA graphs），以及跨后端共享工具中 Megatron 特定逻辑的放置取舍。可作为 offload 前释放派生缓冲的性能优化参考模板。

为 Muon 优化器新增 NVMe 磁盘状态卸载，规避主机 OOM

值得精读。核心设计决策有三个：其一，不重写 DistOpt 分桶/写回逻辑，而是子类化 `ChunkedOptimizerStateOffloader` 只覆盖分配器，用最小改动复用 Megatron 既有的 chuncked restore、`assert_master_weights_resident` 和 prefetch 钩子；其二，利用文件页可回收性而不是简单扩内存，从内核语义上解决 OOM；其三，用 tensor 标记 + `msync` 与 Megatron checkpoint 协议对齐，避免全量重分配和不可归因的写回。这些模式对任何“把显存/内存压力转移到磁盘”的需求都有借鉴价值。

解除流式优化器状态与训练器卸载的强耦合

值得精读，尤其关注参数校验层面的设计权衡，以及“放宽断言但未补测试”的后续跟进。该修复展示了在大型集群真实负载约束下，参数级耦合假设如何被实际拓扑推翻的过程。

修正 offload 参数帮助文案，与真实行为对齐

不值得精读：单文件 3 行帮助文案修复，几分钟可看完。值得借鉴的是作者的校验方式——不凭印象改文案，而是对照 `validate_args` 的真实默认填充逻辑（None 判断）来校正 help 表述，并把“显式 `--no-` 会被尊重”这一行为写进文案；同时刻意不动正确的 `--offload-rollout` 阶段描述，变更面控制得很小，是“文档与实现互相校验”的小型范本。

移除过时备份开关，默认启用 rematerialize 权重重建

值得精读。该 PR 展示了三个有深度的工程决策：#725 前后内存语义演化如何让一个参数失去存在价值；冻结参数导致分布式 rank 集体序列发散（`_ALLGATHER_BASE` vs `_REDUCE_SCATTER_BASE`）的排查与回退；以 `--ci-test` 自动开启 SHA256 校验作为 CI 安全网的设计。阅读时建议重点关注 `tensor_backper.py` 的分支收敛和提交历史中默认范围从 6 个加载体收敛到 2 个的过程。

colocate 下从主权重重建 bf16 备份，省 129 GB 内存/节点

值得精读。设计上以“master cast + param all-gather 与 step end 逐位相同”作为理论依据，用 init-time 覆盖断言和 opt-in SHA256 校验兜底，是“用计算换内存”的安全范式。建议重点关注 _TensorBackuperMainCast 的 lifecycle 设计、_assert_rematerialize_coverage 的覆盖判据（DDP buffer membership 在 DP>1 下的正确性论证），以及 _validate_rematerialize_param_from_master_weight 中每条 assert 背后的配置组合心智模型。后续跟进 #1588 解除 critic-only fence 与异常安全/分布式失败标志的补强。

回滚过宽的 backuper 参数断言，修复 LoRA e2e CI 启动崩溃

值得快速阅读。虽然改动只有 8 行删除，但 PR body 展现了良好的工程判断：识别断言覆盖范围与实际行为（--colocate 隐式开启 offload_train）的偏差，并坚持把防御性检查放在真实故障点。建议关注后续 #2204 是否已合入，确认风险窗口已关闭。