执行摘要
新增 CI 检查 train_rollout_logprob_abs_diff
通过 CI 自动检查 train_rollout_logprob_abs_diff 指标是否在合理范围内,防止训练过程中 rollout logprob 异常偏离导致训练不稳定或结果不可用。
该 PR 变更极小且直观,无需精读。但可关注后续 CI 中该断言是否稳定,若频繁误报需调整阈值或检查根源。
该 PR 无任何 review 评论或讨论。
通过 CI 自动检查 train_rollout_logprob_abs_diff 指标是否在合理范围内,防止训练过程中 rollout logprob 异常偏离导致训练不稳定或结果不可用。
该 PR 变更极小且直观,无需精读。但可关注后续 CI 中该断言是否稳定,若频繁误报需调整阈值或检查根源。
该 PR 无任何 review 评论或讨论。
在 slime/backends/megatron_utils/model.py 的 train 函数中,日志记录之后、原有 KL 检查之前,插入一段 CI 断言:当 args.ci_test 为真且日志字典中包含键 train/train_rollout_logprob_abs_diff 时,断言该值 <= 0.1。变更仅涉及添加 3 行代码,未修改任何已有逻辑。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
slime/backends/megatron_utils/model.py |
训练引擎 | modified | 4.4 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险极低。仅添加一个 CI 断言,不影响非 CI 运行路径;断言阈值 0.1 是否合理需根据实际训练数据验证,但此处仅是 CI 检查,误报可通过调整阈值修复。
直接影响:CI 中 Megatron 训练测试将在每次 step 后校验该指标,若超出阈值会触发失败。间接影响:促使开发者关注 rollout logprob 数值稳定性。影响范围限于 CI 测试环境,用户训练不受影响。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论