执行摘要

此PR为Moore Threads（MUSA）GPU的扩散模型添加了FA3注意力后端支持，旨在提升MTGPU硬件上的性能。通过更新依赖版本和重构后端选择逻辑，实现了与现有attention路径的兼容性，是MUSA支持路线图的关键一步。

功能与动机

动机源于Issue #16565 '[Roadmap][Feature] Support Moore Threads (MUSA) GPU'，目标是扩展SGLang对MUSA硬件的支持，优化扩散模型性能。PR body明确指出这是ongoing effort的一部分，通过集成MATE（MUSA AI Tensor Engine）的FA3 APIs来实现。

实现拆解

主要改动分为两部分：

1. 依赖更新：修改了3个pyproject.toml文件，将torchada依赖版本从>=0.1.25提升至>=0.1.45，确保MUSA平台兼容性。
2. 后端选择逻辑：在python/sglang/multimodal_gen/runtime/platforms/musa.py中，重构get_attn_backend_cls_str函数，添加FA3后端支持。代码逻辑包括：
   • 默认在MUSA上选择FA3后端。
   • 验证dtype（仅float16/bfloat16）和head size。
   • 如果FA3不可用，回退到Torch SDPA后端。
   • 保持与CUDA实现类似的结构，便于未来扩展。

评论区精华

Review讨论聚焦于设计权衡：

• MATE检查与代码简化：alexnails询问MATE可用性检查逻辑和枚举简化，yeahdongcn回复采用'try-and-use'模式，参照CUDA实现骨架。
• 平台特定调用整洁性：mickqian指出应避免分散的is_musa调用，yeahdongcn通过torchada更新（PR #49）解决了该问题，实现了更简洁的集成。

风险与影响

风险：

• 依赖版本升级可能引发兼容性问题。
• 后端选择逻辑在异常情况下（如不支持dtype）可能回退失败，导致运行时错误。

• 增加平台特定代码，可能提高维护复杂度。
  影响：

• 用户：MUSA GPU上的扩散模型用户获得性能提升。

• 系统：扩展硬件支持，但通过回退机制保持兼容性。
• 团队：需熟悉MUSA优化和依赖管理，影响范围限于扩散模型模块。

关联脉络

此PR是Issue #16565 MUSA支持路线图的一部分，系列标为“14/N”。从历史PR看，扩散模型模块持续优化（如PR 21756修复prompt-path），展示了团队对多模态生成的重视。硬件扩展趋势明显，类似NPU、AMD优化PR（如PR 21811、21458）表明SGLang正积极适配多样硬件生态。