Prhub

#29634 docker: install dynamo nightly in the dev image for rapid iteration/testing

原始 PR 作者 ishandhanani 合并时间 2026-06-30 13:58 文件变更 2 提交数 2 评论 1 代码增减 +38 / -4

infra docker ci

执行摘要

向开发镜像添加 Dynamo nightly 安装

许多团队希望尝试 Dynamo router 与 SGLang 的集成，开发镜像中集成 Dynamo nightly 可以加速迭代和测试，而不需要在每次运行时额外安装。PR body 明确说明：“Many teams are wanting to try out dynamo router + sglang. This allows them to do it within the dev image (not the release one for now).”

该 PR 适合精读，尤其是 Dockerfile 中关于条件安装和依赖隔离的模式。值得关注的设计决策：

  • 使用构建参数 INSTALL_DYNAMO 将开发环境依赖与发布版本隔离，这是一种常见的“feature flag”思路在构建过程中的应用。
  • 通过 --no-deps 避免包管理器重新解析依赖，是一种轻量级的依赖冲突解决方式。
  • 但 review 中提出的建议（用 pip 原生 pre-release 替代 curl+grep）值得考虑，可以提升构建鲁棒性。建议在后续迭代中评估并采纳。
讨论亮点

Review 中唯一的评论来自 gemini-code-assist[bot]，指出通过 curl 解析 HTML 索引来获取最新版本号的方式脆弱且容易失败（网络问题或索引结构变化）。评论建议改用 pip 的原生依赖解析，使用预发布版本说明符（如 ai-dynamo>=0.0.0.dev0），让 pip 自动选择最新 pre-release 版本。该评论未得到回复或采纳，但后续提交（由 Kangyan-Zhou 进行的 gate 优化）未修改这部分逻辑，说明团队可能接受了当前的实现方式，或该评论被视为低优先级的建议。

实现拆解

该 PR 主要通过两个部分的修改来实现 Dynamo nightly 的集成：

  1. Dockerfile 中添加 Dynamo 安装逻辑：

    • 引入两个构建参数 INSTALL_DYNAMO（默认 0）和 DYNAMO_VERSION（可选，用于固定版本）。
    • 当 INSTALL_DYNAMO=1 时，如果未指定 DYNAMO_VERSION，则通过 curl 获取 NVIDIA PyPI 索引，用 grep 解析最新日期标记的 nightly 版本号（格式如 X.Y.Z.devYYYYMMDD），然后通过 pip 从 https://pypi.nvidia.com 安装该版本。
    • 如果版本号格式无效，构建会失败并给出明确错误信息。

  2. 调整 gateway wheel 安装以兼容 Dynamo：

    • 在构建的后期阶段，当安装 gateway wheel 时，检查 INSTALL_DYNAMO 是否为 1。如果是，则使用 --no-deps 重新安装，避免 pip 重新解析依赖时替换 Dynamo 所需的共享包；否则按正常方式安装。

  3. CI 工作流启用 Dynamo 构建参数：

    • 修改 release-docker-dev.yml，在构建开发镜像时始终传递 --build-arg INSTALL_DYNAMO=1，无论是 schedule 触发还是其他事件。而发布镜像（release-docker.yml / release-docker-runtime.yml）保持默认值 0，确保 Dynamo 不会进入发布版。
文件 模块 状态 重要度
docker/Dockerfile 部署脚本 modified 5.41
.github/workflows/release-docker-dev.yml CI/CD modified 3.96

关键源码片段

docker/Dockerfile infrastructure

核心变更文件，实现 Dynamo nightly 的条件安装逻辑（通过 INSTALL_DYNAMO 参数控制）和 gateway wheel 的 --no-deps 安装策略。

# === docker/Dockerfile ( 节选 ) ===
# 可选 ai-dynamo nightly，用于 Dynamo + SGLang 集成测试。
# 仅在 INSTALL_DYNAMO=1 时安装（由 release-docker-dev.yml 设置），
# 不会进入 release/runtime 镜像。DYNAMO_VERSION 可固定版本。
ARG INSTALL_DYNAMO=0
ARG DYNAMO_VERSION=
RUN --mount=type=cache,target=/root/.cache/pip \
    set -eu; \
    if [ "$INSTALL_DYNAMO" = "1" ]; then \
        if [ -z "$DYNAMO_VERSION" ]; then \
            # 尝试从 NVIDIA PyPI 索引抓取最新日期标记的 nightly
            index="$(curl -fsSL --retry 3 --retry-delay 2 https://pypi.nvidia.com/ai-dynamo/)" \
                || { echo "ERROR: failed to fetch the ai-dynamo index from pypi.nvidia.com"; exit 1; }; \
            # 解析形如 X.Y.Z.devYYYYMMDD 的版本号并取最大
            DYNAMO_VERSION="$(printf '%s\n' "$index" \
                | grep -oE '[0-9]+\.[0-9]+\.[0-9]+\.dev[0-9]{8}' | sort -Vu | tail -1)"; \
            # 验证版本号格式，防止空字符串或错误格式导致 pip 失败
            case "$DYNAMO_VERSION" in \
                *.*.*.dev????????) : ;; \
                *) echo "ERROR: no X.Y.Z.devYYYYMMDD nightly found in the index (format may have changed)"; exit 1 ;; \
            esac; \
        fi; \
        echo "Installing ai-dynamo==${DYNAMO_VERSION}"; \
        python3 -m pip install --extra-index-url https://pypi.nvidia.com "ai-dynamo==${DYNAMO_VERSION}"; \
    fi
​
# ... 后续安装阶段 ...
​
# 当 ai-dynamo 已安装（dev 镜像）时，使用 --no-deps 重新安装 gateway wheel，
# 避免 pip 重新解析依赖并替换 Dynamo 的共享依赖。
# 否则正常安装 gateway 的依赖。
RUN --mount=type=cache,target=/root/.cache/pip \
    if [ "$INSTALL_DYNAMO" = "1" ]; then \
        python3 -m pip install --force-reinstall --no-deps /tmp/gateway_wheels/*.whl; \
    else \
        python3 -m pip install --force-reinstall /tmp/gateway_wheels/*.whl; \
    fi \
    && rm -rf /tmp/gateway_wheels
.github/workflows/release-docker-dev.yml infrastructure

修改开发镜像构建流程，始终传递 INSTALL_DYNAMO=1 构建参数，使 Dynamo nightly 实际生效。

# === .github/workflows/release-docker-dev.yml ( 节选 ) ===
# 在 step 中计算额外构建参数，无论 schedule 还是其他事件，均传入 INSTALL_DYNAMO=1
- name: Determine extra build args
  run: |
    if [ "${{ github.event_name }}" = "schedule" ]; then
      echo "extra_build_args=--build-arg USE_LATEST_SGLANG=1 --build-arg INSTALL_DYNAMO=1 --build-arg CMAKE_BUILD_PARALLEL_LEVEL=\$(nproc)" >> $GITHUB_OUTPUT
    else
      # 非 schedule 事件也启用 INSTALL_DYNAMO=1
      echo "extra_build_args=--build-arg BRANCH_TYPE=local --build-arg INSTALL_DYNAMO=1 --build-arg CMAKE_BUILD_PARALLEL_LEVEL=\$(nproc)" >> $GITHUB_OUTPUT
    fi

评论区精华

使用 curl+grep 解析 PyPI 索引的脆弱性 设计

gemini-code-assist[bot] 指出：通过 curl 与 grep 解析 pypi.nvidia.com 的 HTML 索引来获取最新版本号是脆弱的，如果索引结构变化或网络暂时故障会导致构建失败。建议改用 pip 的原生依赖解析，如指定 `ai-dynamo>=0.0.0.dev0` 让 pip 自动选择最新预发布版本。

结论：未在讨论中明确采纳或拒绝。当前代码保持原实现，但添加了 `--retry` 和格式验证作为缓解措施。 · unresolved

风险与影响

  1. 构建可靠性风险：curl 爬取 PyPI 索引并 grep 解析版本号的方式确实脆弱。如果 NVIDIA 更改索引 HTML 结构或出现临时网络故障，构建将失败。但版本号格式验证（case 语句）可以在一定程度上捕获异常格式。
  2. 依赖冲突风险：安装 Dynamo nightly 可能引入与现有包的版本冲突，尤其是在 gateway wheel 依赖中。通过 --no-deps 安装 gateway wheel 可以缓解，但若 Dynamo 与 gateway 有深层共享依赖（如 triton 或 CUDA 相关库），仍可能产生运行时兼容性问题。
  3. 镜像体积增大：安装 Dynamo 会增加镜像体积，但仅限开发镜像，影响有限。
  1. 对开发团队：Impact: High — 开发镜像中直接包含 Dynamo nightly，使得 Dynamo + SGLang 集成测试变得便捷，不再需要手动安装或额外脚本，加速迭代。
  2. 对 CI 系统：Impact: Medium — 构建开发镜像时多了一步网络请求和安装，CI 流水线中会增加几分钟的构建时间。但这是 schedule 驱动的日常构建，影响较小。
  3. 对发布镜像：Impact: None — INSTALL_DYNAMO 默认 0，发布镜像不受影响，保持了最小依赖。
  4. 对用户：Impact: Low — 普通用户不直接使用开发镜像，无影响。需要 Dynamo 集成的开发者可以直接从开发镜像开始工作。
构建依赖脆弱 开发镜像专用不影响发布 依赖隔离策略

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。

完整报告

Markdown PDF

参与讨论