执行摘要
本次PR将三个独立的GSM8K评估实现统一至单一入口点run_eval.py，通过Chat API的Completion接口路由，为所有NVIDIA测试文件启用dump_metric自动覆盖（包括得分、延迟、输出吞吐量）。这是CI回归测试基础设施的关键第一步，旨在消除代码冗余、提升测试可观测性，同时保持行为与旧实现完全一致。变更涉及79个文件，大量测试迁移，但AMD/NPU路径通过弃用警告保留以确保兼容性。
功能与动机
SGLang当前存在8个独立的评估系统（Issue #21046），导致显著的代码重复和维护负担。以GSM8K为例，竟有5个不同实现，包括few_shot_gsm8k.py、simple_eval_gsm8k.py和few_shot_gsm8k_engine.py，各有不同的接口和指标收集能力。PR body明确指出：“After this PR: one entry point (run_eval), one args format, one set of metric keys, same Completion API behavior.” 这直接支持Issue #21157中“基于回归的CI检查”的Phase 1，为后续自动基线比较奠定基础。
实现拆解
框架层变更
| 文件 |
关键改动 |
目的 |
accuracy_test_runner.py |
删除_run_few_shot_eval函数，移除GSM8K特殊路由 |
将GSM8K评估统一至run_eval路径 |
run_eval.py |
使model参数可选（getattr(args, "model", None)），为Completion API添加默认停止词 |
支持服务器自动检测并匹配旧行为 |
eval_accuracy_kit.py |
更新GSM8KMixin.test_gsm8k使用新参数：base_url、eval_name="gsm8k"、api="completion" |
统一Mixin接口，影响众多测试类 |
few_shot_gsm8k.py |
添加DeprecationWarning，提示迁移至run_eval |
提供平滑过渡，保留AMD/NPU使用 |
测试迁移
约72个NVIDIA测试文件完成以下转换：
- 导入从
from sglang.test.few_shot_gsm8k import run_eval改为from sglang.test.run_eval import run_eval
- 参数从
SimpleNamespace(host=..., port=...)转为SimpleNamespace(base_url=..., eval_name="gsm8k", api="completion", ...)
- 指标键从
metrics["accuracy"]转为metrics["score"]
- 所有准确性阈值保持不变，确保评估结果一致
评论区精华
由于没有正式review讨论，但从55次commit历史中可提炼关键设计交锋：
兼容性权衡：在commit '66d15c8f'中，作者决定“Keep few_shot_gsm8k files for AMD/NPU tests, add deprecation warnings”，这反映了对团队自主权的尊重——AMD和NPU测试由各自团队维护，不在此次PR中强制迁移，避免了破坏性变更。
API细节优化：commit 'dfbedab7'添加了max_tokens=512和默认停止词["Question", "Assistant:", "<|separator|>"]到Completion API，以确保与旧few_shot_gsm8k.py行为完全匹配，体现了对边缘用例的细致处理。
风险与影响
技术风险：
- 回归风险：大规模文件修改可能引入参数错误，例如遗漏
base_url设置或model属性缺失（commit '6db5913b'曾修复此类问题）。
- 性能偏差：新的Chat API路径可能引入额外网络开销，尽管PR声称行为一致，但需在CI中监控
dump_metric收集的延迟指标。
- 兼容性裂痕：AMD/NPU测试保留旧路径，长期可能加剧代码分歧，增加跨平台维护成本。
影响评估：
- 正面：统一入口点减少代码重复，为CI回归测试提供标准化指标收集，提升团队效率。
- 负面：短期需AMD/NPU团队响应弃用警告进行迁移，否则可能错过
dump_metric覆盖。
- 范围：影响所有NVIDIA测试的GSM8K评估，但对最终用户透明。
关联脉络
本PR是更大基础设施演进的一部分：
- 直接关联Issue：#21046（整合碎片化评估系统）和#21157（回归CI检查路线图），本PR实现了两者的初期目标。
- 历史PR趋势：近期PR如#21873（添加评估数据集下载超时）和#21830（修复CI测试稳定性）显示项目正加强CI可靠性，而本PR的
dump_metric覆盖是这一趋势的延续。
- 未来方向：统一GSM8K路径后，预计类似变更将扩展至MMLU、MMMU等其他数据集，逐步实现评估系统的全面标准化。
参与讨论