#2743 Skip non-numeric rewards in the episode average
原始 PR · 作者 yueming-yuan · 合并时间 2026-08-26 08:43
跳过非数值奖励,修复 OPD 训练崩溃
值得精读,作为处理自定义奖励函数返回非数值类型的防御性编程范例。建议阅读 `miles/ray/rollout/metrics.py` 中的 `_compute_training_sample_metrics` 函数,并考虑补充测试覆盖非数值奖励场景。
Miles is an enterprise-facing reinforcement learning framework for LLM and VLM post-training, forked from and co-evolving with slime.
原始 PR · 作者 yueming-yuan · 合并时间 2026-08-26 08:43
跳过非数值奖励,修复 OPD 训练崩溃
值得精读,作为处理自定义奖励函数返回非数值类型的防御性编程范例。建议阅读 `miles/ray/rollout/metrics.py` 中的 `_compute_training_sample_metrics` 函数,并考虑补充测试覆盖非数值奖励场景。
升级 refactor 验证技能,新增 proof 生成与链式验证工具链
值得精读。核心看点是 `mechanical_refactor_reproduction_utils.py` 中 AST 定位 + 源码文本拼接的原子原语设计,以及 `mechanical_refactor_proof_generator.py` 中从 diff 反推 recipe 的启发式推断;这两者组合实现了「机器证明机械重构」的闭环。对计划做大规模代码移动或希望自动化重构 review 的团队有直接借鉴价值。建议重点关注 `verify_mechanical_refactor` 的 worktree 校验流程和 `infer_recipe` 对不支持场景(rename、语句级重排)的显式拒绝策略。
原始 PR · 作者 yueming-yuan · 合并时间 2026-08-26 04:14
--hardware 自动探测节点并推导 GPU 数
值得精读:它展示了如何把分散在 19 个脚本里的机器假设收敛为单一事实来源,并用「替换前字面量一致性核对 + 快照不变 + pin 机制」三重手段保证行为不漂移。最值得学习的两点:resolve_hardware() 用 typing.get_args 反射字段 Literal 做显式校验,避免 match 静默穿透;测试用 _fake_torch 在无 GPU runner 上完整覆盖硬件探测矩阵。合并前建议在 B300/GB300/H200 实机各跑一次探测。
新增 Terminus 2 compaction 训练示例
值得精读,尤其是 `run.py` 中 `_build_train_args` 对 session server v2 与 TITO、GRPO 的串接方式,以及 README 中对 compaction 心理模型的解释。对需要设计训练配方或复现 RL 实验结果的同学,这是一份很好的参考模板;对核心代码维护者,仅需关注新增测试是否与 `py_harness` 的兼容性。
新增 compaction 感知的 rollout 训练样本与奖励指标
建议精读该 PR 以理解如何在 rollout 指标中正确处理 session compaction。值得关注的设计决策:奖励按 rollout 等权平均,避免长 rollout 权重过大;分组 key 的设计兼顾 rollout_id、index 和位置回退;使用 metadata 中的 raw_reward 进行奖励计算的策略。
README 系统补充牛津逗号并微调措辞
该 PR 属于低风险的文档润色变更,不值得精读。若关注文档严谨性,可快速浏览 diff 确认牛津逗号和措辞修改是否符合团队风格规范。无需进一步关注。
将 router/session-server 就绪超时提升至 120s,修复 CI 偶发失败
该 PR 值得快速合并,修复了 CI 偶发失败且改动简单、注释清晰。对于读者,它展示了如何通过根因分析定位偶发故障并采用合理的超时策略。无需深读,但可以留意后续是否将常量提取为可配置参数。
原始 PR · 作者 yueming-yuan · 合并时间 2026-08-25 04:01
Dockerfile 的 MEGATRON_BRANCH 回退到 miles-main
此 PR 为简单的基础设施修复,不值得精读。核心决策是确保分支引用与上游仓库一致,建议关注后续是否有类似的临时分支引用清理。
参与讨论