执行摘要
- 一句话:修正 benchmark 文档中的错误旗标引用
- 推荐动作:可直接合入的低风险文档修复,无需精读。可作为文档与 CLI 定义同步的样例;若有精力,可考虑在 CI 中增加文档旗标校验,避免此类问题复发。
功能与动机
关联 Issue #52587 指出,docs/benchmarking/cli.md 中自定义数据集示例及 prose 使用了不存在的 --custom-skip-chat-template,且该拼写不是 --skip-chat-template 的前缀,argparse 缩写匹配无法兜底,命令会报 unrecognized arguments。PR body 说明正确旗标定义于 vllm/benchmarks/datasets/datasets.py,文档只是没跟上旗标从 --custom-* 组中拆出并改名的工作。
实现拆解
- 定位错误引用:在 docs/benchmarking/cli.md 的 custom dataset 示例块(约 208 行)和其下方说明文字(约 216 行)中发现两处 --custom-skip-chat-template。
- 对照源码确认:通过 grep -rn "skip-chat-template" 验证 vllm/benchmarks/datasets/datasets.py 中 add_dataset_parser() 定义的旗标为 --skip-chat-template(argparse add_argument、action="store_true"),全仓库不存在 custom- 前缀拼写。
- 修改文档:将两处错误拼写统一替换为 --skip-chat-template,保持示例与说明文字同步。
- 验证与配套:git diff 确认仅改动这两个引用,无功能代码变更;文档构建自动生成 ReadTheDocs 预览,供审阅者核对。
关键文件:
docs/benchmarking/cli.md(模块 基准文档;类别 docs;类型 documentation): 唯一变更文件,修正了两处不存在的 --custom-skip-chat-template 为真实旗标 --skip-chat-template,消除文档中命令无法复制执行的错误。
关键符号:未识别
关键源码片段
docs/benchmarking/cli.md
唯一变更文件,修正了两处不存在的 --custom-skip-chat-template 为真实旗标 --skip-chat-template,消除文档中命令无法复制执行的错误。
# 修正后的 custom dataset 示例(docs/benchmarking/cli.md)
vllm bench serve --port 9001 --save-result --save-detailed \
--backend vllm \
--model meta-llama/Llama-3.1-8B-Instruct \
--endpoint /v1/completions \
--dataset-name custom \
--dataset-path <path-to-your-data-jsonl> \
--skip-chat-template \ # 真实旗标定义于 vllm/benchmarks/datasets/datasets.py 的 add_dataset_parser()
--num-prompts 80 \
--max-concurrency 1 \
--temperature=0.3 \
--top-p=0.75 \
--result-dir "./log/"
评论区精华
review 无技术争议:claude[bot] 因 PR 来自 fork 自动跳过审查;princess38827 空正文批准;DarkLight1337 以 'Thanks for fixing!' 确认。全程仅一条 bot 欢迎语与一条预览链接,无未解决问题。
风险与影响
- 风险:纯文档变更,不影响代码、测试与构建产物,回归风险极低。唯一风险是未来旗标再改名时文档可能再次滞后,建议后续用脚本校验文档旗标与 argparse 定义一致,以防复发。
- 影响:对用户:按文档复制命令不再出现 unrecognized arguments;对系统与团队:无运行时影响,维护成本可忽略;对项目质量:该修复消除了文档与实现不一致的隐患。
- 风险标记:纯文档变更, 低风险
关联脉络
参与讨论