标签列表
聚合结果
实现完全异步模式多教师在线策略蒸馏
建议关注以下方面： - **资源池设计**：当前在 rollouter 中分配教师资源池，但未来规划中 rollouter 将不再负责资源分配。关注后续 PR 对资源池分离的重构。 - **蒸馏配置传递**：`distillation_config` 参数的风险需要验证 worker 类是否兼容。建议在合并后运行全量 CI 确认无 TypeError。 - **异步兼容性**：`run_in_executor` 的使用是临时方案，需跟踪 `MultiTeacherModelManager` 的异步化进展。 - **测试覆盖**：如果使用 FSDP 或其他后端，考虑扩展测试矩阵。
原始 PR · 作者 JacobHelwig · 合并时间 2026-03-26 11:52
添加教师模型colocate模式，支持在rollout后计算教师logprobs。
建议技术管理者和工程师精读此PR，特别关注教师logprobs计算路径的设计决策，如stream_teacher_with_rollout标志的使用和批处理实现。同时，检查review中指出的bug是否已在提交历史中妥善解决，并评估测试覆盖是否充分。
原始 PR · 作者 JacobHelwig · 合并时间 2026-03-25 10:14
重构教师模型对数概率计算，移动至专用管理器以提升模块化。
建议技术管理者和工程师精读此PR，关注设计决策如分离关注点、处理循环依赖和初始化顺序修复。重点关注verl/experimental/teacher_loop/teacher_manager.py中新类的实现，以及agent_loop.py中的修改逻辑，以理解重构带来的模块化改进和潜在风险。