执行摘要

• 一句话：将 bench_one_batch_server 搬迁到 sglang/benchmark/ 并添加 shim
• 推荐动作：建议简要阅读以了解 SGLang 项目中的 benchmark 代码组织方式及向后兼容 shim 的实践。Gemini 代码审查中提出的稳健性改进值得参考。

功能与动机

PR 中指出 bench_one_batch_server 是 package 根目录下唯一的 bench 入口，其逻辑却分散在 test/ 目录中。为了统一 bench 工具的组织结构，将其移至 sglang/benchmark/ 包中，与其他 bench 支持代码放在一起。

实现拆解

1. 核心逻辑搬迁：新建 sglang/benchmark/one_batch_server.py，将原 sglang/test/bench_one_batch_server_internal.py 中的全部类和函数逐字复制过来，并将 __main__ 块提取为独立的 main() 函数。
2. 向后兼容 shim：将 sglang/bench_one_batch_server.py 从完整入口缩减为 11 行的轻量 shim，通过 from sglang.benchmark.one_batch_server import * 重新导出所有公共符号，在 __main__ 中调用 main()。
3. 测试适配：修改 test/registered/kv_canary/test_self_e2e_bench_speed.py 的导入路径，从 sglang.test.bench_one_batch_server_internal 改为通过 sglang.bench_one_batch_server 导入。
4. 稳健性改进：在第三个 commit 中采纳 Gemini 代码审查的 5 条建议，包括增强 _flush_cache_with_retry 异常处理、流式请求使用 with 语句、安全访问 internal_states、移除 zip 的 strict 参数。

关键文件：

• python/sglang/benchmark/one_batch_server.py（模块 基准测试；类别 source；类型 rename-or-move；符号 run_benchmark, main, _flush_cache_with_retry, run_one_case）: 核心逻辑搬迁至此文件，承载所有 benchmark 函数与类，包括新增的 main() 函数。
• python/sglang/bench_one_batch_server.py（模块 入口 shim；类别 source；类型 core-logic；符号 run_benchmark）: 该文件从完整入口缩减为向后兼容 shim，是迁移的关键适配层，确保现有导入和命令行入口不变。
• test/registered/kv_canary/test_self_e2e_bench_speed.py（模块 KV Canary；类别 test；类型 test-coverage）: 更新导入路径以匹配新的模块结构，确保 CI 测试可以通过。

关键符号：run_benchmark, main, _flush_cache_with_retry

关键源码片段

python/sglang/bench_one_batch_server.py

该文件从完整入口缩减为向后兼容 shim，是迁移的关键适配层，确保现有导入和命令行入口不变。

"""Back-compat shim. The implementation now lives in
``sglang.benchmark.one_batch_server``; this module preserves the
``python -m sglang.bench_one_batch_server`` entry point and the
``from sglang.bench_one_batch_server import ...`` imports.
"""
​
# 通过 wildcard 导入重新导出 benchmark 包中的所有公共符号
from sglang.benchmark.one_batch_server import * # noqa: F401,F403
# 显式导入 main() 函数，供 __main__ 块调用
from sglang.benchmark.one_batch_server import main
​
if __name__ == "__main__":
    # 执行 benchmark 主逻辑
    main()

评论区精华

Gemini 代码审查提出了 5 条稳健性改进建议，全部被采纳。重点包括：_flush_cache_with_retry 添加 try-except 以正确处理网络异常；流式 requests.post 改为 with 上下文管理器；安全访问 internal_states 列表防止 IndexError；移除 zip 的 strict 参数兼容 Python 3.9。审查者特别指出原有代码在这几处存在潜在的运行时错误或资源泄漏风险。

• _flush_cache_with_retry 异常处理改进 (correctness): 已采纳：在第三个 commit 中添加了 try-except，并将重试逻辑应用于网络异常。
• 流式请求使用 context manager (correctness): 已采纳：在第三个 commit 中改为 with requests.post(...) as response:。
• 安全访问 internal_states 防止 IndexError (correctness): 已采纳：使用 internal_states[0] if internal_states else {} 代替直接索引。
• 移除 zip strict 参数兼容 Python 3.9 (other): 已采纳：在第三个 commit 中删除了 strict=True。

风险与影响

• 风险：本 PR 是纯重构，无业务逻辑变化，风险较低。主要风险包括：shim 使用 import * 可能遗漏符号（但已通过显式导入 main 并验证 CI 降低风险）；测试导入路径变更若下游有直接引用 sglang.test.bench_one_batch_server_internal 的脚本会中断（但该模块已被移除，此类引用本就不应存在）。整体风险可控。
• 影响：对用户：完全向后兼容，所有原有的调用方式不变。对系统：无性能或功能影响。对团队：benchmark 代码组织更清晰，后续迁移其他入口时可复用 shim 模式。
• 风险标记：shim 依赖, 导入路径变更

关联脉络

• 暂无明显关联 PR