单步 PPO 训练复用训练 log-probs,跳过冗余 actor 前向
值得精读。本 PR 展示了一个典型的"安全性能优化"范式:用显式 opt-in flag + fail-closed 配置清单 + 运行时断言三层防护,把"两个 forward 统计等价"这一不变量落到代码层面;`policy_loss_function` 中旧策略源选择与 TIS 输入解耦、`compute_advantages_and_returns` 的 detach 边界统一,都是值得借鉴的设计决策。review 中针对 detach 回归(#1966)的讨论也说明核心训练路径的边界必须显式维护。
参与讨论