Prhub

#28103 Add DeepSeek V4 Pro GB300 nightly and expand Kimi K25 nightly test

原始 PR 作者 Fridge003 合并时间 2026-06-26 03:13 文件变更 9 提交数 5 评论 5 代码增减 +218 / -19

执行摘要

新增 DeepSeek V4 Pro GB300 夜间测试并扩展 Kimi K25

PR 描述中明确提到:Add a GB300 nightly registered test for deepseek-ai/DeepSeek-V4-Pro FP4, cover the cookbook low-latency, balanced, and high-throughput single-node strategies on nightly-4-gpu-gb300, run combined GSM8K accuracy and performance profiling for each strategy。同时扩展 Kimi K2.5 测试以利用 EAGLE3 加速,并细化 GB300 测试套件结构以便后续维护。

该 PR 是测试基础设施的重要补充,展示了如何为新硬件(GB300)系统化地添加夜间测试,并通过拆分子套件提高 CI 效率。建议团队关注其套件拆分模式,在后续添加更多模型时复用。

讨论亮点

该 PR 没有正式的 review 评论。仅有的 5 条 comment 均为作者 Fridge003 的 CI 运行状态更新(如尝试不同 runner 和确认运行链接),最终表示“先合并这个,后续再修复 V4 Pro 测试”,未涉及技术讨论。

实现拆解

  1. 新建 test/registered/gb300/test_deepseek_v4_pro_fp4.py:定义 TestDeepSeekV4ProFp4 测试类,包含低延迟、均衡、高吞吐三种部署策略的配置和 GSM8K 精度测试,并注册到 nightly-4-gpu-gb300-deepseek-v4-pro-fp4 套件。
  2. 修改 test/registered/gb300/test_kimi_k25_nvfp4.py:添加 EAGLE3 投机解码参数,将原有 TP4 和 TP4+DP4+DPA 变体升级为 TP4+EAGLE3 和 TP4+DP4+DPA+EAGLE3,并更新 suite 注册名称为 nightly-4-gpu-gb300-kimi-k25-nvfp4
  3. 更新 test/run_suite.py:在 NIGHTLY_SUITES 的 CUDA 条目下添加 7 个 GB300 模型专属 suite 名称(如 nightly-4-gpu-gb300-deepseek-v4-pro-fp4 等),从通用套件中拆分出来。
  4. 调整其他 GB300 测试文件(test_glm5_fp8.py, test_kimi_k25.py, test_qwen35_nvfp4.py, test_glm5_nvfp4.py, test_qwen35_fp8.py):将其 register_cuda_ci 中的 suite 参数从公用 nightly-4-gpu-gb300 改为各自专属名称,并保持原有 disabled 状态。
  5. 修改 .github/workflows/nightly-test-nvidia.yml:添加新的 GB300 nightly job,使用专属 runner 标签和矩阵策略以匹配新增套件。
文件 模块 状态 重要度
test/registered/gb300/test_deepseek_v4_pro_fp4.py DeepSeek V4 added 7.26
test/registered/gb300/test_kimi_k25_nvfp4.py Kimi K25 modified 5.81
test/run_suite.py 测试套件 modified 4.12
test/registered/gb300/test_glm5_fp8.py GLM5 modified 4.1
test/registered/gb300/test_kimi_k25.py Kimi K2.5 modified 4.1
test/registered/gb300/test_qwen35_nvfp4.py Qwen3.5 modified 4.1
.github/workflows/nightly-test-nvidia.yml CI 工作流 modified 4.07
test/registered/gb300/test_glm5_nvfp4.py GLM5 modified 3.42
test/registered/gb300/test_qwen35_fp8.py Qwen3.5 modified 3.42

关键符号

TestDeepSeekV4ProFp4.test_deepseek_v4_pro_fp4 TestKimiK25Nvfp4.test_kimi_k25_nvfp4

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

主要风险:测试依赖外部模型权重(DeepSeek-V4-Pro 和 Kimi-K2.5-NVFP4),下载可能超时或失败;GB300 硬件(4x GB300 NVL4)在 CI 中的可用性和稳定性尚不确定;新增的 suite 注册可能导致 CI 工作流触发错误,但测试均标记为 nightly,不影响 PR 流程。整体风险较低。

对用户无直接影响。对系统:细化了 GB300 夜间测试结构,将原本单一的 nightly-4-gpu-gb300 拆分为 7 个模型专属套件,提升了可维护性和错误隔离性;为 DeepSeek V4 Pro 和 Kimi K2.5 提供了精度和性能基线。对团队:便于单独对某个模型触发测试和调试,降低全套件重跑成本。

外部模型依赖 CI 资源消耗增加 GB300 硬件可用性

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论