执行摘要
- 一句话:新增 Crusoe 托管推理服务部署指南文档
- 推荐动作:纯文档变更,值得作为托管服务文档页的模板快速浏览,但无需精读;合并行为合理,后续需关注端点与模型名更新。
功能与动机
PR body 说明:Adds a deployment guide for Crusoe Managed Inference, an OpenAI-compatible API powered by vLLM. 这是对 #36935 的刷新,因 stale bot 关闭旧 PR 而重提,目标是补齐托管服务文档覆盖,使用户能将自建 vLLM 的客户端代码直接切换到 Crusoe 端点。
实现拆解
- 新增 docs/deployment/frameworks/crusoe.md(+64 行),包含服务简介、前置条件(账号和 API Key)、OpenAI SDK 配置示例、curl 验证命令以及模型列表查询方式。
- 相对旧 PR #36935 做了三点调整:API 端点到当前正式域名 api.inference.crusoecloud.com;页面结构对齐 runpod.md 与 dstack.md(Prerequisites、SDK usage、curl verification);示例模型更换为当前旗舰模型 zai/GLM-5.2。
- 无测试、配置或部署脚本配套改动,仅通过 mkdocs 构建与 readthedocs 预览验证渲染效果。
关键文件:
docs/deployment/frameworks/crusoe.md(模块 部署文档;类别 docs;类型 documentation): 唯一变更文件,完整定义了 Crusoe Managed Inference 的接入方式,是本次 PR 的核心内容。
关键符号:未识别
关键源码片段
docs/deployment/frameworks/crusoe.md
唯一变更文件,完整定义了 Crusoe Managed Inference 的接入方式,是本次 PR 的核心内容。
# 使用 OpenAI SDK 调用 Crusoe Managed Inference(OpenAI 兼容 API)
# 该片段来自 docs/deployment/frameworks/crusoe.md,展示 vLLM 用户如何切换端点
import os
from openai import OpenAI
# 只需修改 base_url 与 api_key,其余代码与自建 vLLM 服务完全一致
client = OpenAI(
base_url="https://api.inference.crusoecloud.com/v1", # Crusoe 托管端点
api_key=os.environ["CRUSOE_API_KEY"], # 从 Crusoe Console 获取
)
# 模型名使用 Crusoe 模型目录中的标识(如 zai/GLM-5.2)
response = client.chat.completions.create(
model="zai/GLM-5.2",
messages=[{"role": "user", "content": "Hello, how are you?"}],
)
print(response.choices[0].message.content)
评论区精华
inferact-vllm-bot 认为技术上 MERGE-ready,但需维护者决定是否再增加一个托管服务商页面;作者表示愿意按维护者偏好合并、精简或折叠进现有页面。维护者 hmellor 指出 build-docs 标签添加过晚,主动重建预览并验证渲染效果后批准合并。
- 是否再增加一个托管服务商页面 (design): 维护者 hmellor 批准合并,接受新增此页面。
- 文档构建与渲染验证 (testing): 构建成功,预览页面可用,随后批准。
风险与影响
- 风险:文档中的模型名称(如 zai/GLM-5.2)和 API 端点可能随 Crusoe 服务演进而过时,inferact 审核也指出模型目录无法在无账号情况下验证。这是纯文档变更,不触碰任何代码路径,回归风险极低;但若端点或模型变更,用户按文档操作可能遇到 404 或模型不存在错误。
- 影响:对用户而言,新增的指南提供了一条可直接照做的接入路径,降低使用 Crusoe Managed Inference 的门槛。对团队而言,增加了一个外部服务文档页的维护成本,需要跟踪端点与模型目录变化;但该页与 frameworks 目录既有风格一致,可作为未来托管服务文档模板。对系统无运行时影响,仓库仅增加约 64 行文档。
- 风险标记:模型目录可能过时, API 端点可能变更
关联脉络
- PR #36935 Add Crusoe Managed Inference deployment guide (original): 本 PR 是其刷新版,更新了 API 端点与文档结构。
参与讨论