执行摘要

• 一句话：新增 BFCL 数据集，支持 vllm bench serve 工具调用性能评测
• 推荐动作：建议所有从事 tool-calling 相关开发或评测的工程师精读此 PR，重点了解 BFCLDataset 的 schema 翻译设计和请求覆盖机制。该设计为后续添加其他自定义基准数据集提供了可复用的模式。

功能与动机

PR 描述指出，当前缺少标准化的工具调用工作负载测量方法。现有基准数据集（ShareGPT、Sonnet、random 等）仅产生纯文本轮次，从未触发 tools/tool_choice 路径、服务端工具解析器或结构化解码语法。因此需要新增 BFCL 数据集来填补这一空白。

实现拆解

变更按以下步骤实施：

1. 数据结构扩展：在 SampleRequest 中新增 chat_messages 和 request_overrides 字段；在 RequestFuncInput 中新增 chat_messages 字段。chat_messages 允许数据集直接预构建 OpenAI 格式的消息列表，request_overrides 允许每请求携带自定义工具 schema，两者配合绕过传统的文本 prompt 构建路径。

2. 命令行参数：在 add_dataset_parser() 中新增 --bfcl-categories 参数，接受逗号分隔的分类名称，默认值为 simple,live_simple,multiple。

3. 数据集类实现：新增 BFCLDataset 子类（继承自 HuggingFaceDataset），核心工作包括：

   • load_data() 通过 HuggingFace Hub API 下载指定分类的 JSONL 文件；
   • _translate_schema() 递归地将 BFCL 的非标准 schema 类型（dict、float、tuple、any）转换为 OpenAI 工具格式（object、number、array、string）；
   • _to_openai_tools() 将函数列表转换为 tools 列表；
   • sample() 使用 round-robin 策略从已加载数据中采样，确保分类均衡。

4. 分发逻辑适配：在 serve.py 中新增 _merge_overrides() 工具函数，用于浅合并全局 extra_body 和每请求 request_overrides；修改 benchmark() 和 warmup 流程中的请求构造，将合并后的 body 和 chat_messages 传递到后端请求函数。

5. 单元测试：新增 tests/benchmarks/test_bfcl_dataset.py，通过 mock HuggingFace API 模拟仓库文件结构，验证 schema 翻译、消息构造、后端约束检查和分类错误场景。

6. 文档：在 docs/benchmarking/cli.md 中新增 BFCL 章节，含命令示例和分类说明；在 docs/features/tool_calling.md 中提及基准测试能力。

关键文件：

• vllm/benchmarks/datasets/datasets.py（模块 基准数据集；类别 source；类型 core-logic；符号 BFCLDataset, load_data, _resolve_categories, _load_category）: 核心实现文件，包含 BFCLDataset 类、schema 翻译、数据集加载逻辑以及与 dataset 注册的集成。
• tests/benchmarks/test_bfcl_dataset.py（模块 测试套件；类别 test；类型 test-coverage；符号 _patch_hf_api, hf_tokenizer, _write_fake_files, _args_for_bfcl）: 新增完整的单元测试套件，覆盖 schema 翻译、后端约束、错误分类等核心路径。
• vllm/benchmarks/serve.py（模块 调度适配；类别 source；类型 core-logic；符号 _merge_overrides）: 修改了基准测试分发逻辑，添加 _merge_overrides 函数，并修改 benchmark() 和 warmup 以支持每请求覆盖。
• vllm/benchmarks/lib/endpoint_request_func.py（模块 API适配；类别 source；类型 core-logic）: 扩展 RequestFuncInput 数据结构，修改 async_request_openai_chat_completions 以优先使用预构建聊天消息。
• vllm/benchmarks/datasets/__init__.py（模块 初始化；类别 source；类型 configuration）: 导出新类 BFCLDataset，供外部使用。
• docs/benchmarking/cli.md（模块 文档说明；类别 docs；类型 documentation）: 新增 BFCL 基准测试使用说明和命令示例。
• docs/features/tool_calling.md（模块 文档说明；类别 docs；类型 documentation）: 更新工具调用文档，提及基准测试能力。

关键符号：BFCLDataset._translate_schema, BFCLDataset._to_openai_tools, BFCLDataset.load_data, BFCLDataset._resolve_categories, BFCLDataset._load_category, BFCLDataset.sample, _merge_overrides, async_request_openai_chat_completions, get_samples, add_dataset_parser

评论区精华

主要讨论集中在 gemini-code-assist[bot] 提出的异常处理建议：在 BFCLDataset 的某个 try/except 块中，捕获通用 Exception 后静默设置 rendered = None，这可能掩盖 tokenizer 或 chat template 的异常，建议改为 logger.warning。此外，chaunceyjiang 报告了使用 Qwen3.5-27B-FP8 时的 Error 8: Not Found 问题，但最终批准了 PR。

• 异常捕获与日志记录 (correctness): 作者未对评论做出回复，PR 最终合并。该异常处理在现有版本中仍然存在，可能影响 prompt_len 计算的准确性。

风险与影响

• 风险：
  • 异常静默风险：BFCLDataset 中存在的通用异常捕获可能掩盖 tokenizer 应用 chat template 时的错误，导致 prompt_len 不准确且难以调试。
  • 后端依赖风险：BFCL 数据集强制要求 --backend openai-chat，若用户误用其他后端会收到 ValueError，但该限制可能不被所有用户理解。
  • 数据集格式稳定风险：BFCL 仓库的 JSONL 格式或分类命名可能发生变化，导致下载失败，需要定期维护。
  • 性能测试准确性：预构建的 chat_messages 和 request_overrides 路径与正常路径可能产生微小偏差，需要验证。
• 影响：
  • 用户影响：提供标准化工具调用基准测试能力，vllm 用户现在可以测量启用工具调用（--enable-auto-tool-choice）场景下的延迟和吞吐量，填补了之前此类工作负载的缺失。
  • 系统影响：对现有基准测试框架进行了非侵入式扩展，新增 dataset 子类和适配修改均向后兼容，不影响已有数据集。
  • 团队影响：为 vLLM 的 tool-calling 功能提供了关键的评估手段，有助于后续优化和回归检测。
  • 风险标记：异常静默处理, 数据集格式变动依赖, 仅支持 openai-chat 后端, 新字段可能测试覆盖不足

关联脉络

• 暂无明显关联 PR