Prhub

#52588 docs: fix incorrect --custom-skip-chat-template flag reference

原始 PR 作者 theamalsebastian 合并时间 2026-08-17 16:48 文件变更 1 提交数 1 评论 2 代码增减 +2 / -2

执行摘要

修正 benchmark 文档中的错误旗标引用

关联 Issue #52587 指出,docs/benchmarking/cli.md 中自定义数据集示例及 prose 使用了不存在的 --custom-skip-chat-template,且该拼写不是 --skip-chat-template 的前缀,argparse 缩写匹配无法兜底,命令会报 unrecognized arguments。PR body 说明正确旗标定义于 vllm/benchmarks/datasets/datasets.py,文档只是没跟上旗标从 --custom-* 组中拆出并改名的工作。

可直接合入的低风险文档修复,无需精读。可作为文档与 CLI 定义同步的样例;若有精力,可考虑在 CI 中增加文档旗标校验,避免此类问题复发。

讨论亮点

review 无技术争议:claude[bot] 因 PR 来自 fork 自动跳过审查;princess38827 空正文批准;DarkLight1337 以 'Thanks for fixing!' 确认。全程仅一条 bot 欢迎语与一条预览链接,无未解决问题。

实现拆解

  1. 定位错误引用:在 docs/benchmarking/cli.md 的 custom dataset 示例块(约 208 行)和其下方说明文字(约 216 行)中发现两处 --custom-skip-chat-template。
  2. 对照源码确认:通过 grep -rn "skip-chat-template" 验证 vllm/benchmarks/datasets/datasets.py 中 add_dataset_parser() 定义的旗标为 --skip-chat-template(argparse add_argument、action="store_true"),全仓库不存在 custom- 前缀拼写。
  3. 修改文档:将两处错误拼写统一替换为 --skip-chat-template,保持示例与说明文字同步。
  4. 验证与配套:git diff 确认仅改动这两个引用,无功能代码变更;文档构建自动生成 ReadTheDocs 预览,供审阅者核对。
文件 模块 状态 重要度
docs/benchmarking/cli.md 基准文档 modified 1.67

关键源码片段

docs/benchmarking/cli.md documentation

唯一变更文件,修正了两处不存在的 --custom-skip-chat-template 为真实旗标 --skip-chat-template,消除文档中命令无法复制执行的错误。

# 修正后的 custom dataset 示例(docs/benchmarking/cli.md)
vllm bench serve --port 9001 --save-result --save-detailed \
  --backend vllm \
  --model meta-llama/Llama-3.1-8B-Instruct \
  --endpoint /v1/completions \
  --dataset-name custom \
  --dataset-path <path-to-your-data-jsonl> \
  --skip-chat-template \  # 真实旗标定义于 vllm/benchmarks/datasets/datasets.py 的 add_dataset_parser()
  --num-prompts 80 \
  --max-concurrency 1 \
  --temperature=0.3 \
  --top-p=0.75 \
  --result-dir "./log/"

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

纯文档变更,不影响代码、测试与构建产物,回归风险极低。唯一风险是未来旗标再改名时文档可能再次滞后,建议后续用脚本校验文档旗标与 argparse 定义一致,以防复发。

对用户:按文档复制命令不再出现 unrecognized arguments;对系统与团队:无运行时影响,维护成本可忽略;对项目质量:该修复消除了文档与实现不一致的隐患。

纯文档变更 低风险

关联 Issue

#52587 [Doc]: benchmarking CLI docs reference a --custom-skip-chat-template flag that doesn't exist

完整报告

参与讨论