Prhub

#25875 [NPU][DOCS]Add best practice and benchmark result parameter description

原始 PR 作者 loading66 合并时间 2026-05-21 19:08 文件变更 2 提交数 8 评论 12 代码增减 +622 / -13

执行摘要

新增 Ascend NPU 最佳实践与基准测试参数说明

提供 NPU 用户更详尽的部署参考和性能数据,帮助用户理解基准测试输出字段,便于调优和对比。

建议快速合并,该 PR 显著提升了 NPU 文档的完整性和可用性。review 提出的不一致问题应确保在合并前修复。

讨论亮点

review 由 gemini-code-assist[bot] 提出共 12 条评论,核心发现包括:

  • 输入输出长度顺序不一致:多个 benchmark 行的 Input Output Length 与对应命令中的 --random-input-len / --random-output-len 取值匹配错误,例如标题写 "16K+1K" 但命令实际为 1K 输入 + 16K 输出。
  • 重复注释:shell 命令示例中 # bind cpu 注释出现两次。
    • 所有评论均为 medium 优先级,作者未回复,但 PR 最终由 sglang-npu-bot 批准合并,推测部分问题在后续 fix 提交中已修正。

实现拆解

  1. 更新最佳实践文档 (ascend_npu_best_practice.mdx):在模型配置表格中添加 Qwen3-27B 的多项 benchmark 结果行(不同模型尺寸、卡数、精度、延迟场景),并在文档末尾新增大量 benchmark 测试结果小节,包含硬件配置、启动命令、性能数据。
  2. 新增基准测试参数参考 (ascend_npu_performance_testing.mdx):在文档末尾追加 "SGLang Serving Benchmark Result — Complete Reference" 小节,以表格形式定义所有输出参数(如 Backend、Traffic request rate、Total input tokens 等)的说明与格式规范。
  3. 修复重复注释:在 shell 命令示例中移除重复的 # bind cpu 注释。
文件 模块 状态 重要度
docs_new/docs/hardware-platforms/ascend-npus/ascend_npu_best_practice.mdx NPU 文档 modified 5.45
docs_new/docs/hardware-platforms/ascend-npus/ascend_npu_performance_testing.mdx NPU 文档 modified 4.75

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

Benchmark 输入输出长度顺序不一致 正确性

gemini-code-assist[bot] 指出多个 benchmark 行的 Input Output Length 与标题、命令参数不匹配,例如标题为 '16K+1K' 但命令实际使用 --random-input-len 1000(1K)和 --random-output-len 16000(16K)。

结论:应修正表格与命令一致,确保 input+output 顺序正确。作者未回复,但后续 fix 提交可能已处理。 · 已解决

Shell 命令中重复注释 style

gemini-code-assist[bot] 指出 `# bind cpu` 注释出现两次,应删除重复。

结论:需删除重复行,提升代码清洁度。 · 已解决

风险与影响

纯文档变更,无代码逻辑。主要风险是 benchmark 数据与命令不一致可能误导用户;但经 review 指出后大概率已修正。无回归或安全风险。

对 NPU 用户提供更全面的性能参考,帮助正确解读基准测试输出。对现有功能无影响,仅影响文档可读性与准确性。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论