#1769 Support FP8 conversion for Qwen3.5
原始 PR · 作者 peterjc123 · 合并时间 2026-03-29 13:45
为 Qwen3.5 模型添加 FP8 转换支持,通过过滤特定权重键名。
建议快速浏览此 PR 以了解 FP8 转换脚本的更新,重点关注新增的过滤条件是否覆盖了 Qwen3.5 模型的所有相关权重。对于维护类似转换逻辑或处理模型适配的工程师,可参考此变更来设计对其他模型的扩展。
slime is an LLM post-training framework for RL Scaling.
原始 PR · 作者 peterjc123 · 合并时间 2026-03-29 13:45
为 Qwen3.5 模型添加 FP8 转换支持,通过过滤特定权重键名。
建议快速浏览此 PR 以了解 FP8 转换脚本的更新,重点关注新增的过滤条件是否覆盖了 Qwen3.5 模型的所有相关权重。对于维护类似转换逻辑或处理模型适配的工程师,可参考此变更来设计对其他模型的扩展。
修复Megatron LR scheduler重复恢复导致学习率错误的bug。
该PR变更简单直接,值得快速审阅以确认修复逻辑正确。对于负责megatron_utils模块或涉及LR调度的工程师,这是必要的bugfix,可关注Megatron恢复机制的依赖关系。
新增rollout trace时间线查看器,支持离线分析SGLang生成和奖励模型span事件。
此PR值得精读,特别是对于关注调试、性能优化和SGLang集成的工程师。值得关注的设计决策包括trace span上下文管理、PD时间分解的可视化处理,以及模块化工具设计,这些展示了优雅的代码组织方式。
移除过时的slime router,统一使用sglang_router以简化架构。
建议阅读slime/ray/rollout.py中的_start_router函数变更,以理解router启动逻辑的统一化设计;同时关注slime/utils/arguments.py的弃用处理,学习向后兼容的最佳实践。此PR值得精读,因为它揭示了架构演进方向。
原始 PR · 作者 coding-famer · 合并时间 2026-03-27 15:44
为on-policy distillation添加多模态输入支持,使VLMs能够处理图像数据。
对于使用多模态蒸馏或计划集成VLMs的用户,此PR值得精读,以了解图像数据如何集成到蒸馏流程中。对于其他用户,变更较小,可快速浏览以保持对系统功能的了解。设计决策简单,主要关注向后兼容性和最小化侵入性,值得关注如何处理条件性数据添加。
更新Dockerfile中的sgl-router依赖至新构建版本。
此PR变更简单,主要为依赖更新,无需深入精读。建议关注后续PR中sgl-router相关变更(如PR#1770),以了解依赖演进和潜在影响。
将 sglang-router 依赖切换为自定义版本,并更新文档以简化配置要求。
该 PR 值得精读,特别是文档变更部分,以了解 R3 功能的新配置要求;依赖变更部分需要关注自定义源是否稳定,建议在部署前测试新版本兼容性。
修复 wandb 初始化时机问题,确保 SGLang 指标正确上传。
对于涉及 wandb 集成和分布式训练的开发者,推荐精读此 PR,以学习如何处理指标上传的时机问题。特别关注 reinit_wandb_primary_with_open_metrics 函数的设计。
参与讨论