Prhub

#27537 [MUSA] bump torchada version to 0.1.59 and workaround PCG limitation.

原始 PR 作者 yafengio 合并时间 2026-06-08 23:45 文件变更 3 提交数 1 评论 2 代码增减 +3 / -3

执行摘要

升级 torchada 到 0.1.59,修复 MUSA PCG 限制

MUSA 驱动对每个进程有约 2048 个 musaGraphExec_t 对象的限制,PCG 路径会实例化大量 graph executable,导致 graph capture 失败。torchada 0.1.59 通过透明 LRU 旋转机制,保持 graph 模板活跃、限制 executable 数量,并在 replay 前惰性重实例化被驱逐的 executable,从而规避该限制。

值得快速合并,以解决 MUSA 平台 PCG 的已知问题。无需深入审查代码逻辑,但建议关注 torchada 0.1.59 的 release notes 以确认 LRU 机制的行为。

讨论亮点

该 PR 无实质性 review 讨论。gemini-code-assist[bot] 自动生成了无反馈的评论,yeahdongcn 直接批准。

实现拆解

  1. 修改 sgl-kernel 构建依赖:在 sgl-kernel/pyproject_musa.toml 中将 torchada 版本从 >=0.1.57 更新为 >=0.1.59,确保 MUSA 内核模块构建时使用新版本。
  2. 修改 srt_musa 运行时依赖:在 python/pyproject_other.toml3rdparty/amd/wheel/sglang/pyproject.toml 中的 srt_musa 依赖列表里同步更新版本号,确保 SGLang 运行时安装正确的 torchada 版本。
  3. 无其他代码或逻辑变更:全部变更仅为版本号字符串替换,不涉及任何源码、测试或配置调整。
文件 模块 状态 重要度
sgl-kernel/pyproject_musa.toml 内核构建 modified 2.9
python/pyproject_other.toml 运行时依赖 modified 2.9
3rdparty/amd/wheel/sglang/pyproject.toml 第三方构建 modified 2.5

关键源码片段

sgl-kernel/pyproject_musa.toml configuration

MUSA 内核模块的构建系统文件,定义了 torchada 构建依赖。

# sgl-kernel/pyproject_musa.toml
# 构建时依赖:MUSA 内核模块需要 torchada 0.1.59 才能正确管理 CUDA Graph executable
[build-system]
requires = [
  "setuptools>=75.0",
  "scikit-build-core>=0.10",
  "torch",
  "torchada>=0.1.59", # 从 >=0.1.57 升级
  "wheel",
]
build-backend = "setuptools.build_meta"
python/pyproject_other.toml configuration

SGLang 运行时 MUSA 平台依赖配置。

# python/pyproject_other.toml
# srt_musa 运行时依赖:确保 MUSA 平台用户安装 torchada 0.1.59
srt_musa = [
  "sglang[runtime_common]",
  "torch",
  "torch_musa",
  "torchada>=0.1.59", # 从 >=0.1.57 升级
  "mthreads-ml-py",
  "mate>=0.2.0",
  "deep-gemm>=0.1.3",
  "flash_attn_3>=0.1.4",
  "numpy<2.0",
]
3rdparty/amd/wheel/sglang/pyproject.toml configuration

AMD 平台也维护了 MUSA 依赖(可能用于交叉构建或统一管理),需同步更新。

# 3rdparty/amd/wheel/sglang/pyproject.toml
# AMD 平台下的 MUSA 运行时依赖,同步更新 torchada 版本
srt_musa = [
  "sglang[runtime_common]",
  "torch",
  "torch_musa",
  "torchada>=0.1.59", # 从 >=0.1.57 升级
  "mthreads-ml-py",
  "mate>=0.2.0",
  "deep-gemm>=0.1.3",
  "flash_attn_3>=0.1.4",
  "numpy<2.0",
]

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低。变更仅限于三个配置文件中的版本号字符串,且为向前兼容的补丁升级。若新版本引入回归,MUSA 平台上的 CUDA Graph 功能可能受影响,但可通过降级版本快速恢复。

仅影响 MUSA 平台用户。修复了 PCG 路径下 deep 模型因 executable 数量超限导致的 graph capture 失败问题,提升 MUSA 平台的稳定性和可用性。不影响其他平台。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论