重组 examples 目录并清理废弃示例
值得精读,这是大型目录重组的典型案例。重点关注三类引用形式的区分处理、fully_async 与并发 PR 的冲突规避、以及静态审计替代 CI 的验证方法。若不依赖示例目录,可快速浏览执行摘要与风险部分即可。
Miles is an enterprise-facing reinforcement learning framework for LLM and VLM post-training, forked from and co-evolving with slime.
重组 examples 目录并清理废弃示例
值得精读,这是大型目录重组的典型案例。重点关注三类引用形式的区分处理、fully_async 与并发 PR 的冲突规避、以及静态审计替代 CI 的验证方法。若不依赖示例目录,可快速浏览执行摘要与风险部分即可。
移除 --generate-multi-samples,多轮轨迹统一返回标量 Sample
值得精读。这是 rollout 输出契约规范化的代表性 PR,展示了「把语义决策从 CLI 开关迁移到生成器类型契约」的设计思路。重点阅读 `miles/rollout/generate_hub/multi_turn.py` 与 `miles/rollout/generate_hub/agentic_tool_call.py` 的 head 版本,对比 merge 链路的统一;再看 `dynamic_sampling_filters.py` 的类型收窄,理解混合 group 过滤的正确姿势。若团队有自定义 reward model 或依赖旧 flag 的脚本,需按此 PR 同步迁移。
原始 PR · 作者 Zhichenzzz · 合并时间 2026-07-30 02:18
新增 dashboard 用户指南并接入文档导航
值得阅读,尤其对于使用或打算使用 miles dashboard 的工程师。文档不仅是使用手册,还深入解释了存储布局设计和失败策略,对理解 dashboard 的架构很有帮助。建议在后续 dashboard 功能变更时,以本 PR 为基准同步维护该文档。
会话支持请求级 chat_template_kwargs 覆盖渲染
值得精读。该 PR 展示了如何在共享底层 tokenizer 的前提下为每个请求创建轻量配置副本,以及如何处理模型家族的同义参数别名。合并逻辑 merge_chat_template_kwargs 和 clone_with_chat_template_kwargs 的设计可作为后续其他请求级配置覆盖的参考模板。
原始 PR · 作者 yueming-yuan · 合并时间 2026-07-29 13:33
更新 CODEOWNERS 新增 dashboard 负责人
该 PR 属于常规仓库治理维护,不值得深入精读。可作为 CODEOWNERS 配置演进的参考:当子模块规模扩大时,及时为其建立专属所有者规则,避免长期依赖父路径的默认集合。
修复 SGLang E2E 失败不可见与 FSDP 长任务误入 nightly
值得精读。PR body 的 root cause 编号分析质量高,把「失败为什么不可见」拆成 6 个独立根因并逐一修复,是排查 CI 假性红绿的范本;resolve_policy 的「减法不是否决、显式请求并集兜底」语义值得作为 CI 策略设计参考。对需要在仓库中注册长时间 E2E 用例的工程师,本 PR 的标签分类与 est_time 预算规则有直接指导意义。建议顺带确认 run-ci-fsdp 标签当前是否仍有归属用例。
强制异步 PPO 显式选择 off-policy 校正,防止静默错训
值得精读。该 PR 以极小改动(48 行)解决了一个隐蔽且影响训练正确性的问题,设计上选择了快速失败而非自动默认,避免替用户做可能错误的策略选择。重点关注三点:一是错误信息直接列出三个可选方案的可操作性;二是将校验放在 `train_async.py::train` 最前而非参数解析阶段,确保 GPU 等资源分配前失败;三是用 `use_critic` 简单判别 PPO 估计器的取舍。建议同时审查仓库内所有异步 PPO 示例是否有显式配置这三个 flag,以免被新契约打断。
修复 PPO GAE 仅在可训练 token 上计算
值得精读。这是 PPO 在 agentic / 多轮场景下训练正确性的关键修复:"压缩子序列再跑 batched GAE" 的设计让 FLA 风格 chunked kernel 零改动复用,属于可迁移的模式;docstring 对 masked 位置 0 值、下游 whitening / OPD 偏移、mask-weighted 统计量的边界界定也很值得学习。建议与 PR#1916(多轮样本语义)、PR#1759(session server 样本组装)一起阅读,理解 loss_mask 从 rollout 到 loss 的完整链路。
参与讨论