执行摘要

本次PR将三个独立的GSM8K评估实现统一至单一入口点run_eval.py，通过Chat API的Completion接口路由，为所有NVIDIA测试文件启用dump_metric自动覆盖（包括得分、延迟、输出吞吐量）。这是CI回归测试基础设施的关键第一步，旨在消除代码冗余、提升测试可观测性，同时保持行为与旧实现完全一致。变更涉及79个文件，大量测试迁移，但AMD/NPU路径通过弃用警告保留以确保兼容性。

功能与动机

SGLang当前存在8个独立的评估系统（Issue #21046），导致显著的代码重复和维护负担。以GSM8K为例，竟有5个不同实现，包括few_shot_gsm8k.py、simple_eval_gsm8k.py和few_shot_gsm8k_engine.py，各有不同的接口和指标收集能力。PR body明确指出：“After this PR: one entry point (run_eval), one args format, one set of metric keys, same Completion API behavior.” 这直接支持Issue #21157中“基于回归的CI检查”的Phase 1，为后续自动基线比较奠定基础。

实现拆解

框架层变更

测试迁移

约72个NVIDIA测试文件完成以下转换：

• 导入从from sglang.test.few_shot_gsm8k import run_eval改为from sglang.test.run_eval import run_eval
• 参数从SimpleNamespace(host=..., port=...)转为SimpleNamespace(base_url=..., eval_name="gsm8k", api="completion", ...)
• 指标键从metrics["accuracy"]转为metrics["score"]
• 所有准确性阈值保持不变，确保评估结果一致

评论区精华

由于没有正式review讨论，但从55次commit历史中可提炼关键设计交锋：

兼容性权衡：在commit '66d15c8f'中，作者决定“Keep few_shot_gsm8k files for AMD/NPU tests, add deprecation warnings”，这反映了对团队自主权的尊重——AMD和NPU测试由各自团队维护，不在此次PR中强制迁移，避免了破坏性变更。
API细节优化：commit 'dfbedab7'添加了max_tokens=512和默认停止词["Question", "Assistant:", "<|separator|>"]到Completion API，以确保与旧few_shot_gsm8k.py行为完全匹配，体现了对边缘用例的细致处理。

风险与影响

技术风险：

1. 回归风险：大规模文件修改可能引入参数错误，例如遗漏base_url设置或model属性缺失（commit '6db5913b'曾修复此类问题）。
2. 性能偏差：新的Chat API路径可能引入额外网络开销，尽管PR声称行为一致，但需在CI中监控dump_metric收集的延迟指标。
3. 兼容性裂痕：AMD/NPU测试保留旧路径，长期可能加剧代码分歧，增加跨平台维护成本。

影响评估：

• 正面：统一入口点减少代码重复，为CI回归测试提供标准化指标收集，提升团队效率。
• 负面：短期需AMD/NPU团队响应弃用警告进行迁移，否则可能错过dump_metric覆盖。
• 范围：影响所有NVIDIA测试的GSM8K评估，但对最终用户透明。

关联脉络

本PR是更大基础设施演进的一部分：

• 直接关联Issue：#21046（整合碎片化评估系统）和#21157（回归CI检查路线图），本PR实现了两者的初期目标。
• 历史PR趋势：近期PR如#21873（添加评估数据集下载超时）和#21830（修复CI测试稳定性）显示项目正加强CI可靠性，而本PR的dump_metric覆盖是这一趋势的延续。
• 未来方向：统一GSM8K路径后，预计类似变更将扩展至MMLU、MMMU等其他数据集，逐步实现评估系统的全面标准化。