Prhub

#41907 [Docs] Reorganize online serving docs.

原始 PR 作者 noooop 合并时间 2026-05-19 14:43 文件变更 24 提交数 48 评论 36 代码增减 +1348 / -1241

执行摘要

重构在线服务文档,拆分旧 OpenAI 指南到多页

In the early days of vLLM (2023), there was only the OpenAI, so vLLM online serving was referred to as the OpenAI-Compatible Server. As we have entered 2026, generative AI has grown significantly, and more and more features have been added to vLLM online serving. Therefore, it is necessary for us to reorganize the online serving documentation. (引自 PR body)

对于文档维护者和用户,建议仔细阅读 docs/serving/online_serving/README.md 了解新组织方式。贡献者添加新在线 API 时应遵循本 PR 确立的目录和命名规范,并更新 docs/.nav.ymlmkdocs.yaml 的重定向映射。

讨论亮点
  • 重定向配置:DarkLight1337 要求添加旧路径重定向,hmellor 提供了具体语法建议 serving/openai_compatible_server.md: serving/online_serving/README.md,最终被接受。
  • 文件命名与结构:DarkLight1337 指出 generative_scoring_api.md 文件名带“API”后缀不统一,且 others.md 作为杂项页面不合适,建议拆分为独立页面(如 tokenizer.md),作者均采纳。
  • 链接正确性:gemini-code-assist[bot] 发现多个空链接(Anthropic、Completions 渲染)和错误的相对路径(评分链接指向 scoring.md),这些都被作者及时修复。
  • 标题大小写一致:DarkLight1337 要求检查并统一页面标题的大小写格式,作者进行了全局调整。
  • API 分类边界讨论:DarkLight1337 和作者就 Custom APIs 与 Cohere APIs 下 Rerank API 是否重复展开讨论,作者坚持 Score API 属于 Custom、Rerank API 属于 Cohere 的分类,DarkLight1337 认为应避免重复但最终未强制修改。

实现拆解

  1. 创建新文档目录并添加细分页面:在 docs/serving/online_serving/ 下新增 README.md(在线服务总览,列出所有支持的 API 类型及其端点)、openai_compatible_server.md(精简后的 OpenAI 兼容 API 细节)、speech_to_text.md(语音转文字/翻译 API)、generative_scoring.md(生成式评分 API)、renderer.md(渲染器 API 占位页)、tokenizer.md(分词器 API)等页面。
  2. 删除旧聚合文档:移除 docs/serving/openai_compatible_server.md,其内容按功能分配到新页面,避免信息大量冗余。
  3. 配置重定向:在 mkdocs.yamlredirects 插件中增加 serving/openai_compatible_server.md: serving/online_serving/README.md 映射,确保旧书签和搜索引擎链接仍然可用。
  4. 更新导航配置:修改 docs/.nav.yml,将“Online Serving”的链接从指向单一文件改为指向目录 serving/online_serving,利用 MkDocs 的目录索引自动生成子页面列表。
  5. 同步更新交叉引用:更新 docs/getting_started/quickstart.mddocs/models/generative_models.mddocs/models/supported_models.mddocs/models/pooling_models/README.md 等文件中的链接和章节标题,指向新的页面路径。
  6. 统一文件命名和标题风格:根据 review 建议,将 generative_scoring_api.md 去掉“API”后缀,拆解 others.md 为独立页面(如 tokenizer.md),并统一各页面标题的大小写格式。
  7. 更新 SVG 资源:docs/assets/models/pooling_models/cheat_sheet.svg 进行了较大修改(+671/-660),可能与 pooling 文档的同步更新有关。
文件 模块 状态 重要度
docs/serving/online_serving/README.md 在线服务文档 added 5.33
docs/serving/online_serving/openai_compatible_server.md 在线服务文档 added 5.12
docs/serving/openai_compatible_server.md 在线服务文档 removed 4.8
mkdocs.yaml 文档构建 modified 3.56
docs/.nav.yml 文档导航 modified 3.3
docs/serving/online_serving/speech_to_text.md 在线服务文档 added 4.54
docs/getting_started/quickstart.md 入门指南 modified 3.0
docs/assets/models/pooling_models/cheat_sheet.svg 文档资源 modified 4.86

关键源码片段

mkdocs.yaml configuration

添加重定向规则,确保旧链接不失效,是文档向后兼容的关键操作。

# mkdocs.yaml 重定向配置片段
plugins:
  - redirects:
      redirect_maps:
        features/spec_decode/README.md: features/speculative_decoding/README.md
        features/spec_decode/speculators.md: features/speculative_decoding/speculators.md
        serving/openai_compatible_server.md: serving/online_serving/README.md # <-- 新增重定向,确保旧链接可用

评论区精华

添加旧路径重定向 设计

DarkLight1337 要求添加重定向确保旧链接可用,hmellor 提供了具体语法建议。

结论:接受建议,在 mkdocs.yaml 中添加了 `serving/openai_compatible_server.md: serving/online_serving/README.md`。 · 已解决

文件命名和结构一致性 style

DarkLight1337 指出 `generative_scoring_api.md` 文件名带 'API' 后缀不统一,且 `others.md` 应拆分为独立页面。

结论:重命名文件,拆分 `others.md` 为 `tokenizer.md` 等独立页面。 · 已解决

修正文档中的空链接和断链 正确性

gemini-code-assist[bot] 发现 Anthropic API 链接为空,评分 API 指向不存在的 `scoring.md`,render 链接为空。

结论:作者修复了所有发现的问题链接。 · 已解决

标题大小写格式统一 style

DarkLight1337 要求检查并统一页面标题大写风格。

结论:作者进行了全局大小写调整。 · 已解决

API 分类边界(Custom vs Cohere) 设计

DarkLight1337 建议避免在 Custom APIs 和 Cohere APIs 下重复列出 Rerank API。作者解释分类依据:Score API 属于 Custom,Rerank API 属于 Cohere。DarkLight1337 认为仍应避免重复但未强制。

结论:当前结构被保留,但未完全解决分歧。 · 待处理

风险与影响

  • 链接失效风险:如果重定向配置遗漏或新页面路径变化未同步更新所有交叉引用,用户可能遇到 404。本 PR 通过添加重定向和同步更新引用文件降低了风险。
  • 内容完整性风险:部分新增页面(如 renderer.md)仅占位无实际内容,可能让用户困惑。但已标记为待补充。
  • 导航变更适应:用户可能不熟悉新导航结构,但目录索引可自动展开,且旧链接仍可使用。
  • SVG 图片大幅修改:cheat_sheet.svg 的变更可能与未来 pooling 文档进一步更新产生冲突。
  • 用户/读者:在线服务文档结构更清晰,按功能分类易于查找;旧链接通过重定向保持可用。
  • 开发者/贡献者:新增 API 文档时可在相应子页面下独立修改,减少单页面冲突;导航和重定向配置需同步更新。
  • 团队维护:文档结构更模块化,降低后续扩展的认知负担。
文档断裂 外部链接失效 路径引用错误

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论