THUDM/slime · 作者 peterjc123 · 合并时间 2026-03-29 13:45
PR 标题直接表明需要为 Qwen3.5 模型支持 FP8 转换。从代码变更看，在 tools/convert_hf_to_fp8.py 的过滤逻辑中添加了键名排除条件（如 'conv1d'、'A_log'），暗示 Qwen3.5 模型包含这些特殊权重的键名，可能之前不支持或会导致转换错误，因此需要扩展过滤以适配该模型。
建议快速浏览此 PR 以了解 FP8 转换脚本的更新，重点关注新增的过滤条件是否覆盖了 Qwen3.5 模型的所有相关权重。对于维护类似转换逻辑或处理模型适配的工程师，可参考此变更来设计对其他模型的扩展。
本 PR 没有收到任何 review 评论，因此无讨论内容可供提炼。
实现集中在单个文件 tools/convert_hf_to_fp8.py 中。具体改动在 process_file 函数的权重过滤条件部分，新增了 "conv1d" not in key and "A_log" not in key and "dt_bias" not in key and "in_proj_a" not in key and "in_proj_b" not in key 的逻辑，以排除 Qwen3.5 模型中可能不适合 FP8 量化的特定权重键名，从而避免转换错误。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
tools/convert_hf_to_fp8.py |
tools | modified | 5.0 |
分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
技术风险包括：1) 过滤条件可能不完整，如果 Qwen3.5 模型有其他类似键名需要排除，可能导致转换遗漏或错误（文件 tools/convert_hf_to_fp8.py）。2) 变更未经 review 讨论，缺少对逻辑正确性和设计权衡的验证。3) 无新增测试覆盖，潜在回归风险，特别是针对 FP8 量化的正确性。
影响范围：主要影响使用 tools/convert_hf_to_fp8.py 脚本进行 FP8 转换的用户，特别是针对 Qwen3.5 模型的转换流程。影响程度：低到中等，因为它特定于一个模型的转换配置，不会直接影响系统其他模块或广泛用户。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
本 PR 为 Qwen3.5 模型添加了 FP8 转换支持，通过修改转换脚本过滤特定权重键名，以适配该模型的特殊结构。这是一项有意义的改进，影响范围限定于使用该转换脚本的用户，风险较低但缺少测试覆盖。
PR 旨在支持 Qwen3.5 模型的 FP8 量化转换。动机源于 Qwen3.5 模型可能包含如 'conv1d'、'A_log' 等特殊权重键名，这些在原有转换逻辑中未被排除，可能导致转换错误或兼容性问题。因此，需要扩展过滤条件以确保正确性。
实现集中在 tools/convert_hf_to_fp8.py 文件中的 process_file 函数。关键改动是在权重过滤条件中新增了以下检查：
and "conv1d" not in key
and "A_log" not in key
and "dt_bias" not in key
and "in_proj_a" not in key
and "in_proj_b" not in key
这扩展了原有逻辑，排除 Qwen3.5 模型中可能不适合 FP8 量化的权重，避免错误处理。
本 PR 未收到任何 review 评论，因此无讨论内容可供分析。
tools/convert_hf_to_fp8.py 进行 Qwen3.5 模型 FP8 转换的用户，提升兼容性，但不会波及系统其他部分。从近期历史 PR 看，如 PR 1721（添加 Qwen3.5-4B 支持）和 PR 1719（修复 Qwen3.5 启动脚本），表明仓库在持续增强 Qwen3.5 模型的支持生态。本 PR 是该趋势的一部分，专注于转换流程的适配，共同推动模型可用性。
参与讨论