#1793 feat(optimizer): NVMe optimizer-state streaming as a miles plugin
原始 PR · 作者 yueming-yuan · 合并时间 2026-08-01 13:57
NVMe 优化器状态流式插件,step 峰值显存降约 52%
值得精读。该 PR 展示了跨仓库功能下沉的完整工程范式:契约方法收敛、启动期守卫替代运行期故障、以及“以 assert 把静默错误变成响亮错误”的防御思路。尤其推荐关注 `_Stager.transfer` 的跨 dtype 设备中转设计、`plan_buckets` 与 DDP 解耦的动机,以及 `actor_factory` 对 torch_memory_saver 二进制的字节级检查——这类细节是大型 RL 训练系统稳定性的关键。
参与讨论