Prhub
← 返回仓库详情

标签聚合

THUDM/slime · 标签视图

标签列表

聚合结果

multimodal 相关 PR

2026-04-16

#1836 [fix] eval sample logging when sample is a list

作者 mathewjhan · 合并时间 2026-04-16 11:14

缺陷修复 重要性 4.97 洞察度 3.00

修复多智能体场景下评估日志记录时对列表类型样本的处理错误。

bugfix configuration multimodal

该 PR 值得快速浏览,特别是对于处理多智能体或异步生成场景的开发者。关注点在于如何优雅地处理函数返回类型的多态性,避免硬编码假设。

2026-04-07

#1812 feat: add support for including missing weights from origin HF checkp…

作者 peterjc123 · 合并时间 2026-04-07 14:56

功能 重要性 5.00 洞察度 4.00

在权重转换工具中添加从原始HF检查点补充缺失权重的功能,提升Qwen3.5模型转换完整性。

feature configuration multimodal

该PR值得关注其设计思路:通过维护已转换权重名称集合和从原始检查点补充缺失项的方式,优雅地解决了部分权重转换问题。建议精读save_tensors函数中新增的权重补充逻辑,理解其如何保持转换完整性同时避免重复。

#1809 fix missing position_ids in log-prob forward step

作者 znculee · 合并时间 2026-04-07 12:26

缺陷修复 重要性 4.00 洞察度 3.00

修复GPT模型前向传播中position_ids参数缺失导致的TypeError。

bugfix configuration multimodal

该PR值得快速浏览以了解回归修复模式。关注点: 1. 学习如何通过添加默认参数(position_ids: None)解决前向签名不匹配问题。 2. 结合PR #1807分析重构引入的副作用,理解Megatron模型前向参数构建的演进。 3. 对于涉及核心训练路径的变更,建议补充单元测试以避免类似回归。

#1750 feat: add npu patch for qwen3-vl-8b grpo & ppo

作者 cjy0x · 合并时间 2026-04-07 11:19

功能 重要性 7.00 洞察度 5.00

添加NPU补丁以支持Qwen3-VL-8B模型的GRPO和PPO训练。

feature configuration docker multimodal

该PR值得精读,特别是对于涉及硬件适配或多模态训练的工程师。重点关注: 1. `slime.patch`中的资源分配逻辑变更,如Ray API替换,这可能影响分布式训练稳定性。 2. 补丁中的手动代码替换(如cuda→npu),需理解其背后的兼容性设计决策。 3. 环境配置和版本依赖,以评估部署可行性。建议结合README.md进行实操验证。

2026-04-05

#1807 sync from internal

作者 zhuzilin · 合并时间 2026-04-05 18:11

重构 重要性 4.00 洞察度 5.00

重构Megatron模型forward参数构建逻辑,提升多模态训练兼容性。

configuration multimodal performance

该PR值得精读,尤其是关注forward_kwargs字典构建模式的设计决策。这种重构提升了代码可维护性,并为多模态输入扩展提供了更清晰的接口。建议结合PR #1760(多模态OPD支持)理解上下文。

#1805 sync from internal

作者 zhuzilin · 合并时间 2026-04-05 10:27

功能 重要性 7.00 洞察度 6.00

同步内部代码,优化多模态模型支持和 SGLang rollout 数据并行平衡。

bugfix feature multimodal performance

建议工程师精读以下部分: - slime/backends/megatron_utils/model_provider.py 中的可调用 spec 处理,了解如何扩展模型支持以适配新架构。 - slime/rollout/sglang_rollout.py 的 dp_rank_context 实现,学习负载均衡设计模式。 关注风险点,确保在测试环境中验证新功能,并考虑补充相关单元测试。

2026-04-03

#1791 fix(geo3k-vlm-sft): remove --apply-chat-template from SFT launch script

作者 DongzhuoranZhou · 合并时间 2026-04-03 11:50

缺陷修复 重要性 3.00 洞察度 3.00

修复Geo3K VLM SFT启动脚本中--apply-chat-template参数导致的类型错误。

bugfix configuration multimodal

该PR变更简单直接,适合快速浏览以了解SFT数据流中的参数处理问题。对于从事VLM SFT或类似训练脚本开发的工程师,值得关注消息格式在训练流水线中的传递一致性。

#1799 fix qwen3.5 397B converting error when enable expert parallel

作者 xutianming · 合并时间 2026-04-03 11:49

缺陷修复 重要性 5.00 洞察度 4.00

修复Qwen3.5 397B模型在启用专家并行时权重转换错误。

bugfix configuration multimodal

该PR值得精读,特别是对于处理大模型专家并行权重的开发者。关注点:1. 如何从权重名称中提取本地专家ID;2. 如何结合EP上下文计算全局ID;3. 确保HF张量形状与EP配置匹配的设计决策。建议补充测试用例以验证修复。