#3245 fix(megatron): respect --no-load-optim when resuming a LoRA adapter
原始 PR · 作者 Zhichenzzz · 合并时间 2026-09-15 10:55
修复 LoRA 恢复时忽略 --no-load-optim 导致旧优化器状态误载
值得精读,但定位是精准的小范围 bugfix。重点关注三点:一是 `load_optimizer` 参数默认值选择(`True`)如何保证向后兼容;二是 `--no-load-optim` 语义被严格限定为“只跳过 optimizer,保留 iteration 与 scheduler”,与 Megatron 原生行为对齐;三是通过 entry 存在性守卫实现与 #3083 的无序合入,这是一种低成本的跨 PR 兼容设计。若团队后续会扩展 LoRA 恢复功能,可继续关注 `load_lora_adapter` 的参数演进。
参与讨论