执行摘要

• 一句话：重构自动基准测试单元测试至模块化目录，修复 CI bug 并重新启用测试覆盖。
• 推荐动作：建议负责测试基础设施或自动基准测试的工程师精读此 PR，了解新的测试组织结构和共享辅助函数的设计。重点关注 AutoBenchmarkTestCase 基类的使用方式，以及如何通过模块化拆分提升可维护性；同时，留意避免路径硬编码的最佳实践，以优化 CI 环境中的测试执行。

功能与动机

根据 PR body，动机是重构自动基准测试单元测试，将其组织到小型的 auto_benchmark/ 测试文件夹中，使用共享辅助函数，并重新启用之前禁用的测试覆盖，同时保持行为不变。具体表述为：“Made with Codex. Refactor the auto benchmark unit tests into a small auto_benchmark/ test folder with shared helpers, and re-enable the previously disabled coverage while keeping behavior the same.” 验证命令为 PYTHONPATH=python pytest -q test/registered/unit/auto_benchmark。

实现拆解

实现方案分为几个关键步骤：

1) 删除旧的 test/registered/unit/test_auto_benchmark_tools.py 文件，该文件原本包含所有测试逻辑；
2) 新增 test/registered/unit/auto_benchmark/ 目录，包含四个核心文件：__init__.py 定义公共测试基类 AutoBenchmarkTestCase 和辅助函数如 create_lightweight_tokenizer；test_dataset_tools.py 测试数据集准备和推断后端逻辑；test_run_candidate.py 测试候选运行和二分搜索行为；test_search_tools.py 测试搜索工具如构建候选和过滤；
3) 通过 commit 历史修复了路径硬编码问题，使用临时目录代替 /tmp；
4) 移除 zmq stub 以避免依赖问题，并调整 CI 注册以避免测试发现干扰。

关键文件：

• test/registered/unit/auto_benchmark/__init__.py（模块 测试/自动基准测试）: 作为公共测试基类 AutoBenchmarkTestCase 的定义，提供共享辅助函数如 create_lightweight_tokenizer，是重构的核心，所有新测试文件都依赖它。
• test/registered/unit/test_auto_benchmark_tools.py（模块 测试/自动基准测试）: 被删除的旧测试文件，重构的起点，展示了大文件拆分的必要性和原测试逻辑，有助于理解变更背景。
• test/registered/unit/auto_benchmark/test_search_tools.py（模块 测试/自动基准测试）: 测试搜索工具的新文件，包含构建候选、过滤不支持后端等关键逻辑的单元测试，覆盖自动基准测试的核心功能。
• test/registered/unit/auto_benchmark/common.py（模块 测试/自动基准测试）: 从 review 评论中提及，包含测试辅助逻辑，修复了路径硬编码问题，是 CI bug 修复的关键文件。

关键符号：create_lightweight_tokenizer, AutoBenchmarkTestCase.setUp, AutoBenchmarkTestCase.tearDown, _write_autobench_jsonl, _write_sharegpt_json, _build_candidates_for_capability, _build_server_candidates_for_capability, test_prepare_custom_autobench_dataset, test_build_candidates_by_tier, test_run_candidate_binary_search_avoids_rounding_loop

评论区精华

review 中唯一的核心讨论来自 gemini-code-assist[bot]，指出在测试配置中硬编码 /tmp 路径可能导致共享环境或 CI 系统中的冲突。具体评论为：“Hardcoding a path in /tmp can lead to conflicts in shared environments or CI systems. It is better to use the temporary directory already provided by self.tmpdir_path to ensure isolation and proper cleanup。” 这个建议被采纳，并在后续提交“Use temp dataset path in auto benchmark tests”中修复，无其他争议或未解决疑虑。

• 避免硬编码 /tmp 路径以确保测试隔离 (design): 建议被采纳，在后续提交中修复了路径硬编码问题，使用临时目录代替。

风险与影响

• 风险：技术风险包括：
  1) 重构可能引入逻辑错误，尽管测试覆盖被重新启用，但需要确保所有测试用例从旧文件正确迁移到新文件，例如检查 test_search_tools.py 中的过滤逻辑是否正确；
  2) 路径依赖变更可能影响 CI 环境下的测试执行，特别是使用临时目录可能增加隔离性但需验证跨平台兼容性；
  3) 移除 zmq stub 可能影响某些环境中的导入，但 commit 显示已处理。整体风险较低，因为主要变更集中于测试组织而非核心逻辑。
  • 影响：影响范围：对开发团队，测试代码更易读和维护，模块化结构降低了长期维护成本；对 CI 系统，修复了潜在的 bug（如路径冲突），提高了测试稳定性和覆盖率，有助于减少 flaky 测试；对用户无直接影响，因为这只是内部测试基础设施的改进。影响程度为中等，主要局限于测试框架和 CI 流程。
  • 风险标记：测试逻辑迁移风险, 路径隔离问题, CI 环境依赖

关联脉络

• PR #22292 [CI] Fix stage-b-test-1-gpu-large (0) timeout by reordering LoRA tests and using tokenizer from cache: 同为测试基础设施的优化，关注 CI 稳定性和测试执行效率，与本 PR 的 CI bug 修复有相似性。
• PR #22309 Use dedicated runner label for deepep 8-GPU tests: 涉及 CI 配置改进，与本 PR 的 run-ci 标签和测试环境优化相关，展示了仓库对测试可靠性的持续关注。