Prhub

radixark/miles

Miles is an enterprise-facing reinforcement learning framework for LLM and VLM post-training, forked from and co-evolving with slime.

监控状态:已开启 最近同步:2026-09-01 17:43 同步状态:空闲 下次计划:2026-09-01 18:43

PR 列表

更多筛选
2026-08-13

#2477 fix(docs): correct agentic rollout guidance

原始 PR · 作者 guapisolo · 合并时间 2026-08-13 15:32

文档 重要性 6.67 洞察度 4.00

修正 agentic rollout 文档,整合 TITO 会话与生成端点指南

值得精读。对使用 agentic rollout 与 TITO 的工程用户,这是当前最权威的配置与契约说明;对文档维护者,该 PR 展示了“症状-根因-修复-验证”的文档修正方法和页面整合时保留 redirect 的迁移策略。值得关注的设计决策:文档围绕“token 所有权”这一单一事实组织 agentic 路径,用一张对比表呈现 generate 函数的两种兼容形式,并把 CLI help 修正与文档重构放进同一个 PR 以保证契约一致性。

#2498 fix: require shared rewards within rollouts

原始 PR · 作者 guapisolo · 合并时间 2026-08-13 11:44

缺陷修复 重要性 6.79 洞察度 5.00

修复 rollout 内 sibling reward 不一致被静默降级的问题

值得精读,尤其是“用硬校验替代启发式”的 reward 数据契约设计。对维护者,建议确认所有 rollout 数据源(session v2、legacy fixed-fanout)都满足 sibling 奖励一致契约;对使用者,若训练突然报 `must share one reward`,应检查 reward 后处理是否按 rollout 输出同一值,而不是依赖 mask 或长度差异。

重构 重要性 5.92 洞察度 4.00

fully_async 示例迁至 infra_features 并删除 shell 启动器

值得快速阅读:它展示了"示例目录迁移"这类看似机械的改动如何被 dotted module path 加载机制放大为跨模块联动,以及如何通过删除重复 README、依赖自动文档生成来降低长期维护成本。对示例和文档维护者尤其有参考价值,可关注其"删除 shell 启动器"与"用链接替代重复内容"两个决策。

功能 重要性 9.00 洞察度 6.00

HUD v6 计算机使用 RL 训练示例

值得精读。该 PR 最有价值的设计决策包括:① 用 httpx 传输层而非改 sglang 源码来补齐 token-id 契约,思路可复用甚至上游化;② 拼接前逐轮验证前缀属性,只容忍空白规范化的 resync,避免静默训练损坏;③ 失败按 write-off 而非异常处理,并保证样本字段完整(含 dummy image)以维持 FSDP collective 同步;④ “机制与数字分离”的分层设计,reward shape 通过数据而非代码决定。建议阅读 `rollout.py` 的 `_stitch`/`_resync_whitespace` 和 `sglang_compat.py` 的传输重写。

功能 重要性 9.18 洞察度 7.00

新增可配置的会话重放匹配,支持三种内置策略

值得精读。三个看点:一是 JSON 对象等价的类型打标设计(`true` vs `1`、大数精度、重复键/NaN 拒绝、递归深度回退),边界考虑细致且测试充分;二是 effective history 的“存储拼写优先”语义,以及 Shi-Dong 补上的 v1 提交修复,是数据一致性上的关键决策;三是“先回退大 PR、收窄后重做”的工程实践。若计划在生产启用 `loose_tool_call` 或 `role_content_only`,建议先读 `docs/user-guide/customization.md` 的风险模型,并对自定义 matcher 先做小流量验证。

#2492 docs: list Kimi-K2.6 as a P2P-supported model

原始 PR · 作者 nblintao · 合并时间 2026-08-13 08:27

文档 重要性 1.35 洞察度 1.00

文档补充 Kimi-K2.6 为 P2P 支持模型

值得快速浏览,不需要精读。本次属于模型支持清单的文档同步,建议后续维护时考虑对模型清单做自动化校验,避免此类一行文档修改反复出现。

功能 重要性 6.08 洞察度 4.00

样本状态/奖励 chips 移到标签栏上方,Tokens 页保持可见

值得快速阅读,是小型但完整的 UI 组件拆分案例。关注 `renderSampleChips` 的拆分方式和 `renderTokens` 中 DOM 顺序的组织,对理解 dashboard 前端组件组织有帮助。虽然有浏览器验证,但仓库无 JS 测试 harness 是持续存在的技术债,值得后续投入。

#2484 docs: add disaggregated RL rollout guide

原始 PR · 作者 nanjiangwill · 合并时间 2026-08-13 06:39

文档 重要性 4.47 洞察度 5.00

新增分离式 RL rollout 架构指南,同步 6 个文档页面

值得精读,尤其 Topologies 表、--rollout-external 的定位说明、disk-delta 5 步生命周期与 policy-version 契约部分。对于要接入或实现外部 rollout 服务的工程师,这份文档就是接口契约草案;对纯功能使用者,重点看 Quick Start 与 Training Backends 中被同步修改的 --update-weight-transfer-mode 说明。设计上值得借鉴的是文档先定义契约、再等实现落地的先行方式,以及 commit 序列中对外部项目表述的克制处理。

参与讨论