Prhub

radixark/miles

Miles is an enterprise-facing reinforcement learning framework for LLM and VLM post-training, forked from and co-evolving with slime.

监控状态:已开启 最近同步:2026-09-17 11:45 同步状态:空闲 下次计划:2026-09-17 12:45

PR 列表

更多筛选
2026-08-13
重构 重要性 5.92 洞察度 4.00

fully_async 示例迁至 infra_features 并删除 shell 启动器

值得快速阅读:它展示了"示例目录迁移"这类看似机械的改动如何被 dotted module path 加载机制放大为跨模块联动,以及如何通过删除重复 README、依赖自动文档生成来降低长期维护成本。对示例和文档维护者尤其有参考价值,可关注其"删除 shell 启动器"与"用链接替代重复内容"两个决策。

功能 重要性 9.00 洞察度 6.00

HUD v6 计算机使用 RL 训练示例

值得精读。该 PR 最有价值的设计决策包括:① 用 httpx 传输层而非改 sglang 源码来补齐 token-id 契约,思路可复用甚至上游化;② 拼接前逐轮验证前缀属性,只容忍空白规范化的 resync,避免静默训练损坏;③ 失败按 write-off 而非异常处理,并保证样本字段完整(含 dummy image)以维持 FSDP collective 同步;④ “机制与数字分离”的分层设计,reward shape 通过数据而非代码决定。建议阅读 `rollout.py` 的 `_stitch`/`_resync_whitespace` 和 `sglang_compat.py` 的传输重写。

功能 重要性 9.18 洞察度 7.00

新增可配置的会话重放匹配,支持三种内置策略

值得精读。三个看点:一是 JSON 对象等价的类型打标设计(`true` vs `1`、大数精度、重复键/NaN 拒绝、递归深度回退),边界考虑细致且测试充分;二是 effective history 的“存储拼写优先”语义,以及 Shi-Dong 补上的 v1 提交修复,是数据一致性上的关键决策;三是“先回退大 PR、收窄后重做”的工程实践。若计划在生产启用 `loose_tool_call` 或 `role_content_only`,建议先读 `docs/user-guide/customization.md` 的风险模型,并对自定义 matcher 先做小流量验证。

#2492 docs: list Kimi-K2.6 as a P2P-supported model

原始 PR · 作者 nblintao · 合并时间 2026-08-13 08:27

文档 重要性 1.35 洞察度 1.00

文档补充 Kimi-K2.6 为 P2P 支持模型

值得快速浏览,不需要精读。本次属于模型支持清单的文档同步,建议后续维护时考虑对模型清单做自动化校验,避免此类一行文档修改反复出现。

功能 重要性 6.08 洞察度 4.00

样本状态/奖励 chips 移到标签栏上方,Tokens 页保持可见

值得快速阅读,是小型但完整的 UI 组件拆分案例。关注 `renderSampleChips` 的拆分方式和 `renderTokens` 中 DOM 顺序的组织,对理解 dashboard 前端组件组织有帮助。虽然有浏览器验证,但仓库无 JS 测试 harness 是持续存在的技术债,值得后续投入。

#2484 docs: add disaggregated RL rollout guide

原始 PR · 作者 nanjiangwill · 合并时间 2026-08-13 06:39

文档 重要性 4.47 洞察度 5.00

新增分离式 RL rollout 架构指南,同步 6 个文档页面

值得精读,尤其 Topologies 表、--rollout-external 的定位说明、disk-delta 5 步生命周期与 policy-version 契约部分。对于要接入或实现外部 rollout 服务的工程师,这份文档就是接口契约草案;对纯功能使用者,重点看 Quick Start 与 Training Backends 中被同步修改的 --update-weight-transfer-mode 说明。设计上值得借鉴的是文档先定义契约、再等实现落地的先行方式,以及 commit 序列中对外部项目表述的克制处理。

文档 重要性 3.64 洞察度 3.00

修复 examples 各 README 死链、列表结构与缺失条目

本 PR 值得 5 分钟快速浏览 diff:它是“文档内容为自动化铺路”的干净范例,也是 stacked PR 顺序管理(#2482 先行、#2481 重定向 main 后跟上)的直观教材。对文档维护者,`examples/README.md` 作为 meta description 来源的写法值得借鉴。对工程师而言,真正值得精读的是 #2481 的 `scripts/tools/sync_example_docs.py` 生成器——它把死链、H1、描述长度变成机器可检查的契约,本 PR 只是这份契约的输入整理。

功能 重要性 6.67 洞察度 6.00

新增单机 Qwen3-4B PPO 可运行示例与文档

值得精读。重点看 examples/ppo/README.md 的 Constraints 和 Which numbers here are verified 两节,以及 run_qwen3_4b_ppo.py 中注释串联的 PPO 参数设计:critic 共置、loss 级 KL、每 GPU 一个 engine 等决策都有明确理由。想在单机上跑 PPO 的团队可以直接以此为起点;后续接入官方文档时也建议保留这些约束说明。

参与讨论