#2706 DeepSeek-V4 support-v2: native megatron implementation as option
原始 PR · 作者 yueming-yuan · 合并时间 2026-09-01 04:21
DSv4 双后端可选,对齐 Megatron 权重契约,恢复训练
值得精读。该 PR 展示了三类可借鉴的设计决策:一是用显式 raise 替代静默 fallback,杜绝用户不知情的实现漂移;二是通过统一 checkpoint 命名契约让两种实现共享同一数据源,并用 `assert_checkpoint_is_current` 做防御性拒绝;三是利用已有的原子更新组把分散参数在导出时重新聚合(`_packed_alphas` 的 bucket 传递),是分布式 checkpoint 转换中优雅的处理方式。PR body 中关于 tid2eid、SwiGLU clamp、MTP replay 等调试细节也极具参考价值。