Prhub

#30101 Adjust KL_THRESHOLD for log probability calculations

原始 PR 作者 ch-wan 合并时间 2026-07-04 14:53 文件变更 1 提交数 1 评论 1 代码增减 +1 / -1

执行摘要

调整 LoRA logprob 测试 KL 阈值

PR 说明更新 KL_THRESHOLD 以匹配新的 KL 值,避免测试失败。

变更简单合理,可快速合入;建议确认 KL 值变化原因是否与近期其他 PR 相关。

实现拆解

修改单文件中的常量 KL_THRESHOLD 从 5e-3 改为 6e-3,并添加注释说明依据。

文件 模块 状态 重要度
test/registered/lora/test_lora_qwen3_30b_a3b_instruct_2507_logprob_diff.py LoRA 测试 modified 3.02

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

阈值提高可能降低对精度回归的敏感性,但幅度很小(5e-3 -> 6e-3),且实际 KL 值接近 5e-3,风险较低。

仅影响 LoRA logprob 回归测试的通过标准,无功能影响。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论