Prhub

#22285 Add CI tests for GLM-5

sgl-project/sglang · 作者 Fridge003 · 合并时间 2026-04-08 16:05

分析状态 已生成
文件变更 2提交数 10 · 评论 5
代码增减 +153 / -30
test run-ci performance

执行摘要

为 GLM-5 模型添加 CI 测试,扩展 8-GPU 测试套件。

PR标题明确指出“Add CI tests for GLM-5”,动机是扩展CI测试以覆盖GLM-5模型,确保该模型在多种配置下的正确性和性能。虽然PR body未提供具体描述,但从文件变更和同仓库历史PR(如#21710涉及GLM-5性能基准测试)推断,此举旨在加强模型测试矩阵。

建议工程师关注测试配置的合理性和阈值设置;PR值得略读以了解如何为大型模型添加CI测试,但无复杂设计决策需深入分析。

讨论亮点

无review评论,讨论为空。

实现拆解

实现分为两个关键文件:1) 'test/registered/8-gpu-models/test_dsa_models_basic.py':重命名自'test_deepseek_v32_basic.py',添加了TestGLM5DP和TestGLM5TP类,分别测试8-GPU DP和TP配置,包括GSM8K准确性测试和单批次速度基准。2) 'test/registered/8-gpu-models/test_dsa_models_mtp.py':重命名自'test_deepseek_v32_mtp.py',添加了TestGLM5DPMTP和TestGLM5TPMTP类,支持推测解码(EAGLE算法)测试。变更包括更新模型路径、调整超参数(如内存分数)和设置性能阈值。

文件 模块 状态 重要度
test/registered/8-gpu-models/test_dsa_models_basic.py test/8-gpu-models renamed 5.0
test/registered/8-gpu-models/test_dsa_models_mtp.py test/8-gpu-models renamed 5.0

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

关键符号

TestGLM5DP.test_a_gsm8k TestGLM5DP.test_bs_1_speed TestGLM5TP.test_a_gsm8k TestGLM5TP.test_bs_1_speed TestGLM5DPMTP.test_a_gsm8k TestGLM5DPMTP.test_bs_1_speed TestGLM5TPMTP.test_a_gsm8k TestGLM5TPMTP.test_bs_1_speed

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险主要包括:1) 测试阈值设置可能不合理(如速度阈值40 token/s),导致CI误报或漏报;2) 配置错误,如内存分数调整(--mem-frac 0.8)可能影响测试稳定性;3) 新增测试可能增加CI运行时间(est_time从360增至720),影响资源消耗。

影响范围限于CI测试套件:1) 正面影响:增强对GLM-5模型的测试覆盖,有助于早期检测回归;2) 对用户无直接影响,但间接提升模型可靠性;3) 对团队:需维护新增测试,并监控CI通过率。影响程度中等,因为变更仅涉及测试代码。

测试阈值风险 配置兼容性 CI 时间增加

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

执行摘要

本PR为GLM-5模型添加CI测试,通过重命名现有测试文件并新增测试类,扩展了8-GPU测试套件。变更包括数据并行、张量并行和推测解码配置的准确性及速度基准测试,旨在增强模型测试覆盖,确保推理稳定性。

功能与动机

动机源于扩展CI测试以覆盖GLM-5模型的需求。PR标题直接指出“Add CI tests for GLM-5”,虽无详细描述,但从同仓库历史PR(如#21710涉及GLM-5性能基准)推断,此举旨在加强模型测试矩阵,预防回归。

实现拆解

实现集中在两个测试文件:

  • test/registered/8-gpu-models/test_dsa_models_basic.py:重命名自test_deepseek_v32_basic.py,添加TestGLM5DPTestGLM5TP类,测试8-GPU DP和TP配置。
  • 关键配置:模型路径zai-org/GLM-5-FP8,超参数如--tp 8--dp 8
  • 测试方法:test_a_gsm8k(GSM8K准确性)和test_bs_1_speed(速度基准)。
  • test/registered/8-gpu-models/test_dsa_models_mtp.py:重命名自test_deepseek_v32_mtp.py,添加TestGLM5DPMTPTestGLM5TPMTP类,支持EAGLE推测解码测试。
  • 变更包括启用SGLANG_ENABLE_SPEC_V2环境变量,调整内存分数至0.8。

评论区精华

无review评论,讨论为空。

风险与影响

风险

  • 测试阈值设置(如速度阈值40 token/s)可能不合理,导致CI误报。
  • 配置调整(如--mem-frac 0.8)可能影响测试稳定性。
  • CI运行时间预估从360秒增至720秒,增加资源消耗。

影响

  • 正面:提升GLM-5模型测试覆盖,助益回归检测。
  • 负面:新增测试可能延长CI流水线,但对用户无直接冲击。

关联脉络

从历史PR看:

  • 21710 为AMD平台添加GLM-5-FP8夜间性能基准测试,与本PR共同扩展GLM-5测试生态。

  • 22288 更新H200/B200测试模型,虽被撤销,但反映CI测试模型持续演进趋势。

本PR是SGLang测试基础设施常规扩展的一部分,强调对新兴模型如GLM-5的支持。

参与讨论