Prhub

#20232 [fix] qwen3.5 fuse_moe_triton_tune bug

原始 PR 作者 zhangxiaolei123456 合并时间 2026-03-28 07:23 文件变更 1 提交数 3 评论 1 代码增减 +4 / -7

执行摘要

修复 Qwen3.5 在 fused MoE Triton tuning 中的架构解析错误。

PR body 中提供了错误堆栈:在 benchmark/kernels/fused_moe_triton/tuning_fused_moe_triton.py 中调用 get_model_config 函数时,因 Qwen3.5 的 architectures 不是通过 text_configs 定义,导致 IndexError。具体错误为 'architecture = config.architectures[0]' 在未正确处理 config 时失败。

对于关注 fused MoE 优化或 Qwen 模型支持的开发者,此 PR 值得快速浏览以了解配置处理细节;对于一般用户,无需深入阅读。

讨论亮点

Review 中只有 b8zhong 的批准,没有具体讨论内容,因此无争议或深入交流点。

实现拆解

修改集中在 benchmark/kernels/fused_moe_triton/common_utils.py 的 get_model_config 函数。关键改动包括:

  1. 将获取 architecture 的代码行移到检查 text_config 之前,避免在 Qwen3.5 等模型中因缺少 text_config 而访问错误;
  2. 调整条件逻辑顺序,确保 block_shape 获取后再处理 text_config。
文件 模块 状态 重要度
benchmark/kernels/fused_moe_triton/common_utils.py benchmark modified 4.0

关键符号

get_model_config

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险较低,因为修改局限于一个 benchmark 函数且仅调整代码顺序。但需注意是否影响其他模型类型(如 encoder-decoder 模型)的行为,潜在回归风险在于配置解析逻辑的变化。建议在合并后运行相关测试验证兼容性。

此修复直接解决了 Qwen3.5 模型在 fused MoE Triton tuning benchmark 中的崩溃问题,使用户能正常进行性能调优。影响范围仅限于使用该 benchmark 的用户,对系统其他部分无影响,属于局部维护性修复。

逻辑顺序调整

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论