#7014 [fsdp] fix: sync merged LoRA weights before context exit
原始 PR · 作者 rongkunxue · 合并时间 2026-07-15 20:32
修复 LoRA merge 时权重同步的陈旧权重 bug
推荐精读。此 PR 展示了在 PyTorch FSDP 环境中处理上下文管理器和张量生命周期的典型陷阱,`_merged_lora_per_tensor_param` 的设计模式(生成器 + try/finally 确保 offload)值得在类似同步场景中复用。
参与讨论