#2818 fix(megatron): keep SFT logits in model precision
实现拆解
-
核心源码路径
-miles/backends/megatron_utils/model.py（data-contract）：源码主路径；包含 配置键调整；+1/-1
-miles/backends/training_utils/loss_hub/math_utils.py（core-logic）：源码主路径；包含 配置键调整；+2/-2
-miles/backends/training_utils/loss_hub/losses.py（core-logic）：源码主路径；+2/-2；以 core-logic 为主 -
测试与验证
-tests/fast/backends/training_utils/test_sft_logit_precision.py（test-coverage）：测试配套；涉及符号 test_sft_graph_placeholder_survives_fp16_logits；包含 测试覆盖调整、导入关系调整、配置键调整；+23/-0；关键符号：test_sft_graph_placeholder_survives_fp16_logits
-tests/fast/backends/training_utils/loss/test_loss_snapshot.py（test-coverage）：测试配套；包含 测试覆盖调整；+7/-0
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
tests/fast/backends/training_utils/test_sft_logit_precision.py |
sft/logit/precision | added | 5.96 |
miles/backends/megatron_utils/model.py |
miles/backends | modified | 5.17 |
miles/backends/training_utils/loss_hub/math_utils.py |
miles/backends | modified | 5.11 |
miles/backends/training_utils/loss_hub/losses.py |
miles/backends | modified | 4.83 |
tests/fast/backends/training_utils/loss/test_loss_snapshot.py |
loss/snapshot | modified | 3.99 |
分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。
评论区精华
没有提炼出高价值讨论线程
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
风险与影响
关联 Issue
#2764
perf(megatron): keep policy logits in model precision
#2826
test(loss): CP=2 allgather consistency tests; fix empty-rank log-prob dtype
参与讨论