更新Docker环境中的SGLang补丁至新版本,同步上游修复。
建议关注补丁内容,特别是decode.py和model_config.py的变更,以理解SGLang的行为变化;对于使用slime的docker部署,建议在测试环境中验证后再部署到生产环境,确保兼容性。
slime is an LLM post-training framework for RL Scaling.
更新Docker环境中的SGLang补丁至新版本,同步上游修复。
建议关注补丁内容,特别是decode.py和model_config.py的变更,以理解SGLang的行为变化;对于使用slime的docker部署,建议在测试环境中验证后再部署到生产环境,确保兼容性。
修复 GLM4V Megatron 桥接中的导入和配置问题。
该 PR 值得精读,尤其对于负责 GLM4V 模型桥接和 Megatron 集成的开发者,可以了解 API 演进和参数传递的最佳实践,关注 `get_gpt_decoder_block_spec` 的使用方式。
支持PD分离并移除radix tree中间件,重构slime路由器以简化架构。
该PR值得精读,特别是slime/router/router.py中的PD分离实现,展示了支持不同类型worker的路由设计决策,以及清理过时代码的架构优化思路。
修复Docker环境中mla模型IndexCache的bug,更新SGLang补丁和版本号。
建议精读docker/patch/latest/sglang.patch的变更,了解mla模型中IndexCache的修复机制,这对理解SGLang的注意力优化有价值。
更新SGLang补丁并禁用路由器断路器,修复RDMA会话中断问题。
建议涉及RDMA或路由器配置的工程师精读此PR,关注slime/ray/rollout.py中的设计决策,特别是禁用断路器的权衡,以确保理解潜在风险。
修复权重更新中的CUDA IPC缓存泄漏,防止GPU内存累积。
对于涉及GPU内存管理或权重更新模块的工程师,建议精读此PR以学习CUDA IPC泄漏的修复技巧;对于一般读者,可关注变更点以规避类似的内存管理问题。
更新 Docker 补丁以支持 GLM4.6V 和 Kimi K2.5 模型,并优化 DSA CP 逻辑。
建议技术管理者和工程师精读 sglang.patch 中的调度器变更,以理解分布式训练中 CP 和 TP 分组的设计权衡,以及错误处理策略的调整。
参与讨论