执行摘要
此PR为XPU平台添加GLM-4.5-air模型支持，通过优化MoE算子和RoPE实现，确保模型正确运行并提升性能。变更涉及多个核心组件，包括自定义算子、模型层和worker代码，但存在breaking change和测试覆盖不足等风险，建议技术团队仔细审查。
功能与动机
根据PR body，动机是“为 XPU 平台添加 GLM-4.5-air 模型支持，优化 MoE 算子和 RoPE 实现。”作者在评论中补充说明，修复了从--quantization参数传json形式配置不生效的问题，以及torch模型开ep+tp报错的问题，以解决特定场景下的运行时错误。这扩展了FastDeploy在XPU后端的模型库，提升用户推理能力。
实现拆解
- MoE算子层：修改
custom_ops/xpu_ops/src/ops/fused_noaux_tc.cc，将输出顺序从{gating_logits, topk_ids, topk_weights}调整为{gating_logits, topk_weights, topk_ids}，数据类型从INT64改为INT32，并在fastdeploy/model_executor/layers/backends/xpu/moe/fused_moe.py中适配解包顺序。
- 注意力层：更新
custom_ops/xpu_ops/src/ops/block_attn.cc，添加rope_head_dim参数传递，优化encoder模式下的qkv指针偏移，代码示例如下：
cpp
param.head_num, param.kv_head_num, param.head_dim,
rope_head_dim, // 新增参数
- RoPE层：在
fastdeploy/model_executor/layers/rotary_embedding.py中，使用current_platform.is_xpu()检测平台，优化GlmRotaryEmbedding实现，并修复变量名错误（ictemb→emb）。
- 模型层：修正
fastdeploy/model_executor/models/glm4_moe.py中MergedReplicatedLinear的参数名从output_size到output_sizes。
- 辅助层：
fastdeploy/model_executor/layers/linear.py添加output_dim的None检查；fastdeploy/worker/xpu_model_runner.py传递partial_rotary_factor参数以支持RoPE配置。
评论区精华
- 变量名错误：fastdeploy-bot指出：“变量名拼写错误：
ictemb 应为 emb。” 作者已修复，确保代码正确性。
- Breaking Change：fastdeploy-bot强调：“算子输出顺序变更，未同步更新所有调用方。” 测试文件
test_fused_noaux_tc.py未适配，存在未解决风险。
- 版本稳定性：fastdeploy-bot建议：“Using latest version may cause CI instability. Consider using a specific version number.” 但未采纳，可能引入依赖问题。
- 平台检测一致性：fastdeploy-bot建议：“建议将
get_rope 函数中的平台检测也更新为 current_platform.is_xpu()。” 显示代码风格优化空间。
风险与影响
- 技术风险：
- Breaking Change：
fused_noaux_tc算子变更可能导致下游依赖错误，需紧急检查所有调用方。
- 测试覆盖不足：Codecov报告补丁覆盖率仅22.22%，测试文件未完全适配，增加回归风险。
- 版本不稳定：使用latest版本可能引发CI失败或部署不兼容。
- 平台检测不一致：部分代码仍使用旧检测方法，可能影响跨平台兼容性。
- 影响范围：
- 用户：XPU平台用户获得GLM-4.5-air模型支持，扩展推理能力。
- 系统：MoE和RoPE优化可能提升性能，但需管理breaking change带来的维护成本。
- 团队：变更涉及OP、Models等多个模块，需加强协作以确保代码质量。
关联脉络
- 与近期PR #7029（XPU算子重构）、#7361（MoE参数支持）和 #7313（RoPE优化）相关，共同推进XPU平台和模型模块的演进。
- 历史PR显示FastDeploy在XPU、MoE和Optimization领域持续投入，此PR是这一趋势的一部分，旨在增强模型兼容性和性能。
参与讨论