Prhub

#46417 [ROCm][CI] Increase the max wait time for server startup

原始 PR 作者 charlifu 合并时间 2026-06-23 06:46 文件变更 1 提交数 2 评论 0 代码增减 +1 / -0

执行摘要

提升 ROCm CI 服务器启动超时至 1800 秒

PR body 指出 mi300_8: LM Eval Large Models (8xH200-8xMI300) TG 因服务器启动耗时过长而持续失败,需要通过增加等待时间避免超时。

简单配置调整,无精读必要。但可作为 ROCm CI 稳定性维护的参考,后续类似模型可参照此阈值。

讨论亮点

无 review 评论,仅 reviewer AndreasKaratzas 批准,无争议。

实现拆解

  1. 修改测试配置文件:在 tests/evals/gsm8k/configs/Qwen3.5-35B-A3B-MXFP4-EMU-TP2.yaml 中新增一行 startup_max_wait_seconds: 1800,将默认启动等待时间从系统默认值(通常 600 秒)提升至 1800 秒。
  2. 生效范围:仅针对 Qwen3.5-35B-A3B-MXFP4 模型在 TP=2moe-backend emulation 配置下的测试用例。该键可能由测试框架读取,用于控制 server 启动阶段的超时逻辑。
文件 模块 状态 重要度
tests/evals/gsm8k/configs/Qwen3.5-35B-A3B-MXFP4-EMU-TP2.yaml 测评配置 modified 3.68

关键源码片段

tests/evals/gsm8k/configs/Qwen3.5-35B-A3B-MXFP4-EMU-TP2.yaml test-coverage

唯一变更文件,新增 `startup_max_wait_seconds: 1800` 设置,提升服务器启动超时阈值。

# tests/evals/gsm8k/configs/Qwen3.5-35B-A3B-MXFP4-EMU-TP2.yaml
model_name: "amd/Qwen3.5-35B-A3B-MXFP4"
accuracy_threshold: 0.89
tolerance: 0.03
num_questions: 1319
num_fewshot: 5
# 新增:服务器启动最大等待秒数,解决大型模型在 ROCm 上启动慢导致的超时问题
startup_max_wait_seconds: 1800
server_args: >-
  --max-model-len 4096
  --tensor-parallel-size 2
  --moe-backend emulation
  --gpu-memory-utilization 0.35

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低。仅修改 YAML 配置,不影响任何核心逻辑。如果测试框架未实现 startup_max_wait_seconds 字段,该变更将无效果。

仅影响 ROCm CI 中 Qwen3.5-35B-A3B-MXFP4-EMU-TP2 测试项,预期减少因启动超时导致的假阳性失败,提高 CI 稳定性。对其他平台或模型无影响。

仅 CI 配置变更

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论