回滚 mooncake offloading 补丁
建议读者关注该 revert 的后续处理:确认是否有新补丁更可靠地解决 mooncake 地址注册问题;如果该 revert 只是临时措施,团队应尽快提出替代修复。
slime is an LLM post-training framework for RL Scaling.
回滚 mooncake offloading 补丁
建议读者关注该 revert 的后续处理:确认是否有新补丁更可靠地解决 mooncake 地址注册问题;如果该 revert 只是临时措施,团队应尽快提出替代修复。
更新 Docker 中 sgl-router 的 wheel 版本
该 PR 为简单的依赖升级,无需精读。可快速合并,建议确保 CI 通过。
修复sglang在offloading时未重新注册mooncake地址的问题
建议关注该补丁对disaggregated serving稳定性的实际提升效果,并在后续sglang版本升级时验证补丁兼容性。设计模式(动态刷新缓冲区信息、生命周期管理)值得借鉴。
移除 wandb 中 count 指标的上传
该 PR 变更简单、风险低,无需详细 Review。对于 wandb 日志量敏感的用户,此项清理可适当降低存储成本。
向 README 生态列表添加 ART 项目
简单文档更新,无需深入审查。可快速合并。
将 wandb 指标上传改为仅基于 per-sample 统计
建议仔细阅读 `_compute_sglang_request_perf_metrics` 和 `_iter_sglang_generate_attrs` 的实现,理解从 trace 提取指标的模式。若当前使用服务器端 wandb 指标,需评估移除影响并调整监控策略。关注 sglang.patch 的版本兼容性。
修复多响应 prompt 的 rollout_id 分配逻辑
值得合并,修复逻辑清晰,且不影响已有行为。建议后续增加针对多响应 prompt 的测试用例以覆盖此修复路径。
为 placement group 等待加入周期性日志
值得合入;改动简洁且解决实际痛点。如果未来遇到 placement group 长时间无法放置的情况,可考虑在此基础上增加可配置的超时。
参与讨论