执行摘要
- 一句话:修正 CLI 文档中不存在的 --custom-skip-chat-template 标志
- 推荐动作:值得快速浏览而非精读。
关注点:
- 文档与 CLI 参数一致性是常见维护盲区,可通过在文档中标注参数来源文件(如 datasets.py)或增加文档 CI 校验来预防同类问题。
- 关联 Issue #52587 中还有一处同页路径错误未被修复,值得另开小 PR 跟进(作者未在本次范围内处理)。
功能与动机
Issue #52587 报告用户按 docs/benchmarking/cli.md 中的示例复制命令时失败:文档在自定义数据集示例和紧随其后的说明文字中引用了 --custom-skip-chat-template,但该标志并不存在,真实标志 --skip-chat-template 在 vllm/benchmarks/datasets/datasets.py 的 add_dataset_parser() 中注册(约第 1655 行),且由于 argparse 缩写匹配无法将 custom 前缀映射到实际参数,命令会直接报 unrecognized arguments。文档草稿还推测这是选项从 --custom-* 组中拆出时遗留的未同步问题。
实现拆解
本 PR 为纯文档修复,实现过程如下:
- 定位问题:作者通过 grep -rn "skip-chat-template" 在 vllm/benchmarks/datasets/ 下确认唯一合法标志为 --skip-chat-template,且无任何 custom- 前缀的 argparse 注册。
- 修改文档:在 docs/benchmarking/cli.md 中两处完成替换——自定义数据集命令块中的参数名,以及下方说明文字 "You can skip applying chat template..." 中的标志引用,各改动 1 行(+2/-2)。
- 验证:作者在 PR body 中说明通过 git diff 确认只有这两处错误引用被更新,未触碰任何功能代码。
无测试、配置、schema 或部署配套改动。注意 Issue #52587 还提及同页第 728 行 vllm bench throughput 示例存在 vllm/benchmarks/sonnet.txt 路径前缀错误,但本 PR 未处理该问题,仅聚焦两个错误标志引用。
关键文件:
docs/benchmarking/cli.md(模块 基准测试文档;类别 docs;类型 documentation): 唯一变更文件,修复两处不存在的 --custom-skip-chat-template 标志引用,使文档示例与实际 CLI 参数对齐。
关键符号:未识别
评论区精华
本 PR 讨论极少。核心信息有:
风险与影响
关联脉络
- PR #53352 [Pooling] Fix Rust pooling endpoint for benchmark: 同为基准测试 CLI 文档与实际行为不一致的修复(Rust bench 默认端点),与本 PR 同属 benchmarking 文档准确性维护线。
- PR #53432 [Misc] Use VLLMValidationError in offline inference input validation: 同为 vllm/benchmarks 相关文件的近期改动(benchmarks/lib/endpoint_request_func.py 等),属于基准测试工具链演进的一部分。
参与讨论