执行摘要
本次 PR 将 offline_inference.md 从简单示例结构重构为按 API 功能分类的文档,提升可读性和导航性。纯文档变更,无代码影响。
功能与动机
原有文档缺乏结构性,用户难以快速定位所需 API。此 PR 在 #41907 基础上,对整个页面进行了重组,分类列出 Generative、Pooling、Asynchronous Queue、Profiling、Sleep Mode、Cache Management 等 API,并区分了生成模型与池化模型。
实现拆解
- 新增 "Model Types" 小节,说明 vLLM 模型的两大类:Generative Models 和 Pooling Models,并为每类提供链接。
- 按功能将 API 划分为多个章节(Generative APIs、Asynchronous Queue APIs、Pooling APIs、Profiling APIs、Sleep Mode APIs、Cache Management APIs),每个章节列出相关方法及其简要说明。
- 为每个 API 类添加指向详细文档页面的链接(如 profiling.md、sleep_mode.md)。
- 移除原有的大段代码示例,改为更结构化的列表。
- 根据 review 反馈修正格式问题:为
LLM.chat 添加反引号,修复相对路径中的多余父目录。
(此 PR 为纯文档变更,无代码片段可展示)
评论区精华
- gemini-code-assist[bot] 指出格式不一致(
LLM.chat 缺少反引号)和路径错误(../../models/pooling_models/README.md 应为 ../models/pooling_models/README.md),作者已修正。
- DarkLight1337 建议在分类模型类型时增加简短解释,作者采纳并添加了说明。
风险与影响
无技术风险。变更仅涉及文档,对系统性能、安全无任何影响。用户可更高效地找到所需 API。
关联脉络
此 PR 是对 #41907 工作的延续,旨在统一和优化文档结构。后续可能继续对其他页面进行类似重组。
参与讨论