执行摘要

• 一句话：镜像钉死 cutlass-dsl 4.6.2 与 flashinfer 0.6.15.post1，修复 B300 训练挂起
• 推荐动作：值得精读。虽然只是单文件 Dockerfile 改动，但它演示了一套高价值的镜像依赖治理模式：区分"元数据版本"与"实际加载 runtime"、用 force-reinstall + 构建时断言锁定镜像、基于上游回归链（sglang#31625 → #31927）谨慎选择修复版本。对负责镜像构建、发布流程以及 Blackwell/B300 训练基础设施的工程师尤其有参考价值。

功能与动机

基础镜像 lmsysorg/sglang:v0.5.16 内嵌了两个依赖 bug，并因此传染给所有 miles 镜像（含 release-v0.1.0-ci）：其一，nvidia-cutlass-dsl 4.6.0/4.6.1 runtime 在 B300/GB300（sm_103）上会让 FA4 首个训练 backward 在 _bwd_postprocess_convert 内以 100% GPU 空转、永不返回（关联 Dao-AILab/flash-attention#2797），而 4.6.2 已修复；其二，flashinfer 0.6.14 的 trtllm MoE cubins 自 0.6.8 回归后会在 Blackwell 挂起 2CTA kernel（flashinfer-ai/flashinfer#3973 修复），普通 0.6.15 又因 host 侧开销回归被上游回退（sgl-project/sglang#31625），0.6.15.post1 同时包含两项修复。PR body 给出了最直接的动机证据："qwen3-30b nvfp4 training on B300 hung 9.5h in the first train step; with 4.6.2 the same run trains normally."

实现拆解

1. 变更入口与位置：唯一改动文件是 docker/Dockerfile，新增 41 行，插入点位于既有的 apache-tvm-ffi 版本对齐断言之后、清理临时 wheel 目录（rm -rf /tmp/wheels）之前，与既有 reconcile 模式并置，便于维护者对照。
2. cutlass-dsl 覆盖层：使用 pip install --force-reinstall --no-deps 对 5 个组件（meta 包 + libs-base/core/cu12/cu13）统一固定 4.6.2。选择逐组件固定的原因是 meta-package 版本号不决定进程实际加载的 runtime——真正承载 runtime 的是 -libs-cu12/-libs-cu13 wheel，任一组件滑版都会让修复失效；随后用 importlib.metadata 做构建时断言，任一组件版本不符立即 fail build。cu12/cu13 与 x86_64/aarch64 的 wheel 均存在，所有镜像变体都被覆盖。
3. flashinfer 覆盖层：先按 ENABLE_CUDA_13 环境变量选择 cu130/cu129 分目录（flashinfer 的 jit-cache wheel 在其自有 index 上按 CUDA 版本线分发），再以 force-reinstall 从两个 extra-index-url 拉取 flashinfer-python、flashinfer-cubin、flashinfer-jit-cache 三个包至 0.6.15.post1，随后同样做版本断言。最后用 ENV FLASHINFER_VERSION=0.6.15.post1 覆盖 sglang 基础镜像导出的 0.6.14 标记，保持运行时探测的版本标识一致。
4. 配套与验证：本 PR 未附带独立测试文件，正确性依赖构建期断言的硬失败加上游 flashinfer sgl-project/sglang#31927 的 Blackwell E2E 验证；作者注明 flashinfer 代码侧 API 兼容配套（cutedsl MoE API compat + MLA 处理）另行跟踪，Qwen 路径（trtllm_routed/trtllm_mha、deep_gemm/deepep）不依赖。PR 打了 run-ci-megatron 标签，验证重点指向 Megatron 训练路径。

关键文件：

• docker/Dockerfile（模块 镜像构建；类别 infra；类型 infrastructure）: 唯一变更文件，新增 41 行构建指令实现全部修复逻辑：两层 force-reinstall 依赖覆盖、两段构建时断言、一个环境变量标记更新，直接影响所有基于 sglang base 的 miles 镜像。

关键符号：未识别

关键源码片段

docker/Dockerfile

唯一变更文件，新增 41 行构建指令实现全部修复逻辑：两层 force-reinstall 依赖覆盖、两段构建时断言、一个环境变量标记更新，直接影响所有基于 sglang base 的 miles 镜像。

# ==================== 将 nvidia-cutlass-dsl 固定到 4.6.2 ====================
# sglang v0.5.16 基础镜像自带 cutlass-dsl 4.6.0，其 4.6.0/4.6.1 runtime
# 在 sm_103（B300/GB300）上会让 FA4 CuTe backward 永久挂起：首个训练
# backward 在 _bwd_postprocess_convert 里以 100% GPU 空转、永不返回
# （详见 Dao-AILab/flash-attention#2797）；4.6.2 已修复并通过 FA4 的
# SM100 前向 / 后向校验。注意：meta-package 不会改变进程实际加载的 runtime，
# 真正承载 runtime 的是 -libs-cu12/-libs-cu13 两个 wheel，因此必须逐组件
# 固定版本，并在任一组件漂移时让构建过程响亮地失败。
RUN pip install --force-reinstall --no-deps \
    "nvidia-cutlass-dsl==4.6.2" \
    "nvidia-cutlass-dsl-libs-base==4.6.2" \
    "nvidia-cutlass-dsl-libs-core==4.6.2" \
    "nvidia-cutlass-dsl-libs-cu12==4.6.2" \
    "nvidia-cutlass-dsl-libs-cu13==4.6.2" && \
    python3 -c "from importlib.metadata import version as v; \
libs = ['nvidia-cutlass-dsl', 'nvidia-cutlass-dsl-libs-base', 'nvidia-cutlass-dsl-libs-core', \
 'nvidia-cutlass-dsl-libs-cu12', 'nvidia-cutlass-dsl-libs-cu13']; \
bad = {p: v(p) for p in libs if v(p) != '4.6.2'}; \
assert not bad, 'nvidia-cutlass-dsl components not at 4.6.2: %s' % bad"
​
# ==================== 将 flashinfer 固定到 0.6.15.post1 ====================
# sglang v0.5.16 自带 flashinfer 0.6.14，其 trtllm MoE cubins 可能让
# Blackwell 上的 2CTA kernel 挂起（0.6.8 引入的回归，0.6.15 更换 cubins
# 修复，见 flashinfer-ai/flashinfer#3973）。0.6.15.post1 还修复了让上游
# 回退普通 0.6.15 升级的 host 侧 MLA/MoE 分发开销
# （sgl-project/sglang#31625 -> #31927）。python + cubin + jit-cache
# 三件套必须一起升级；jit-cache wheel 存放在 flashinfer 自有 index，
# 按 CUDA 版本分目录。
RUN FI_CUDA_INDEX=$([ "${ENABLE_CUDA_13}" = "1" ] && echo cu130 || echo cu129) && \
    pip install --force-reinstall --no-deps \
    --extra-index-url "https://flashinfer.ai/whl" \
    --extra-index-url "https://flashinfer.ai/whl/${FI_CUDA_INDEX}" \
    "flashinfer-python==0.6.15.post1" \
    "flashinfer-cubin==0.6.15.post1" \
    "flashinfer-jit-cache==0.6.15.post1" && \
    python3 -c "from importlib.metadata import version as v; \
vers = {p: v(p) for p in ['flashinfer-python', 'flashinfer-cubin', 'flashinfer-jit-cache']}; \
bad = {p: x for p, x in vers.items() if not x.startswith('0.6.15.post1')}; \
assert not bad, 'flashinfer components not at 0.6.15.post1: %s' % bad"
​
# sglang 基础镜像导出了 FLASHINFER_VERSION=0.6.14 的标记，需要同步覆盖
ENV FLASHINFER_VERSION=0.6.15.post1

评论区精华

本 PR 没有实质性的 review 技术交锋：claude[bot] 只输出了模板化的手动 review 提示，Shi-Dong 直接 APPROVED 且未附评论，说明评审认可方案、未提出存疑点。值得关注的是作者在 PR body 中自行预披露的三处权衡，实际承担了讨论功能：(a) quack-kernels 0.6.1 元数据固定 cutlass-dsl==4.6.0，pip check 会报冲突，但 sglang srt 不导入 quack，风险可接受；(b) flashinfer 代码侧 API 兼容配套在上游 sgl-project/sglang#31927 另行跟踪，本 PR 是镜像侧先行；(c) 镜像层变更按发布规则不能回填既有 release 分支，只能随 fresh cut 交付。

• 暂无高价值评论线程

风险与影响

• 风险：
  1. pip check 依赖冲突残留：quack-kernels 0.6.1 元数据要求 cutlass-dsl==4.6.0，与本次固定的 4.6.2 冲突，pip check 会持续报错。sglang srt 不导入 quack 所以当前无害，但未来任何代码引入 quack 或升级 quack 版本时，可能再次覆盖 4.6.2 或导致依赖解析混乱。
  2. flashinfer 自有 index 的外部依赖：flashinfer-cubin 与 jit-cache wheel 依赖 flashinfer.ai/whl 的可用性与目录结构；构建环境若无法访问该域名、或 index 按 CUDA 版本分目录的约定变动，将直接导致镜像构建失败或拉取到错误变体。
  3. force-reinstall 的全局覆盖副作用：在基础镜像上强制重装三个 flashinfer 组件，若 sglang v0.5.16 既有推理代码与 0.6.15.post1 存在 API/ABI 差异，可能引入新的推理回归——作者已注明代码侧配套另行跟踪，本 PR 是镜像先行，存在时间差风险。
  4. 构建断言盲区：断言只校验 importlib.metadata 报告的版本号，不校验进程实际 mmap 的 runtime 库；issue 2797 明确指出版本号无法代表实际加载内容，因此断言是必要非充分条件。
  5. 交付延迟：release-v0.1.0-ci 等既有镜像继续带病运行，修复只随下一次 fresh cut 生效。
     - 影响：对用户与训练系统：B300/GB300（sm_103）上的 NVFP4/FA4 训练不再首步永久挂起（此前 qwen3-30b nvfp4 单次卡死 9.5 小时），Blackwell 上 flashinfer trtllm MoE 的 2CTA 挂起消除；作者明确 B200/GB200/Hopper 不受影响，因此无跨硬件回归。对镜像供应链：所有基于 lmsysorg/sglang:v0.5.16 的 miles 镜像（含 release-v0.1.0-ci）在下一轮构建起都会带上这两层覆盖，构建时长增加两次强制重装，并新增对 flashinfer.ai 外网 index 的网络依赖。对团队与流程：必须走 fresh cut 发布，不能 cherry-pick 回已有 release 分支；后续升级 sglang base 镜像时需重新评估这两层覆盖的存续必要性，并关注 flashinfer 0.6.16+ 与 cutlass-dsl 新版本能否让 pin 自然收敛。整体影响面集中在构建期与 Blackwell/B300 训练路径，对代码库运行逻辑本身影响小。
     - 风险标记：外部 index 依赖, pip check 版本冲突残留, 覆盖安装影响全镜像, 镜像层无法回填既有 release, 构建断言不校验实际加载库

关联脉络

• PR #2567 Install tmux into the training image: 同样改动 docker/Dockerfile，同属镜像构建基础设施线；该文件正逐渐成为依赖治理的汇聚点，本次 cutlass/flashinfer 覆盖层与其相邻并置。
• PR #2538 release: miles version release workflow: 确立了 fresh cut 发布规则与 release 分支约束，正是本 PR body 声明镜像层变更 cannot be cherry-picked into an existing release branch 的依据。
• PR #2585 fix: add H200, B200 and B300 to NUM_GPUS_OF_HARDWARE: 同属 B300/Blackwell 硬件支持基础设施线，为本 PR 修复的 B300 训练场景提供硬件映射基础，反映 Blackwell 逐步进入主训练流程的趋势。