#2826 test(loss): CP=2 allgather consistency tests; fix empty-rank log-prob dtype
实现拆解
- 测试与验证
-tests/fast/backends/training_utils/loss/test_loss_cp2_consistency.py(test-coverage):测试配套;涉及符号 _set_parallel_state, _run_case, test_allgather_cp2_matches_cp1;包含 测试覆盖调整、导入关系调整、控制流调整;+112/-0;关键符号:_set_parallel_state, _run_case, test_allgather_cp2_matches_cp1
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
tests/fast/backends/training_utils/loss/test_loss_cp2_consistency.py |
loss/cp2/consistency | added | 7.44 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
评论区精华
没有提炼出高价值讨论线程
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险与影响
关联 Issue
#2818
fix(megatron): keep SFT logits in model precision
参与讨论