Prhub

#49353 [Doc] Add Crusoe Managed Inference deployment guide

原始 PR 作者 acheamponge 合并时间 2026-08-10 18:31 文件变更 1 提交数 1 评论 5 代码增减 +64 / -0

执行摘要

新增 Crusoe 托管推理服务部署指南文档

PR body 说明:Adds a deployment guide for Crusoe Managed Inference, an OpenAI-compatible API powered by vLLM. 这是对 #36935 的刷新,因 stale bot 关闭旧 PR 而重提,目标是补齐托管服务文档覆盖,使用户能将自建 vLLM 的客户端代码直接切换到 Crusoe 端点。

纯文档变更,值得作为托管服务文档页的模板快速浏览,但无需精读;合并行为合理,后续需关注端点与模型名更新。

讨论亮点

inferact-vllm-bot 认为技术上 MERGE-ready,但需维护者决定是否再增加一个托管服务商页面;作者表示愿意按维护者偏好合并、精简或折叠进现有页面。维护者 hmellor 指出 build-docs 标签添加过晚,主动重建预览并验证渲染效果后批准合并。

实现拆解

  1. 新增 docs/deployment/frameworks/crusoe.md(+64 行),包含服务简介、前置条件(账号和 API Key)、OpenAI SDK 配置示例、curl 验证命令以及模型列表查询方式。
  2. 相对旧 PR #36935 做了三点调整:API 端点到当前正式域名 api.inference.crusoecloud.com;页面结构对齐 runpod.md 与 dstack.md(Prerequisites、SDK usage、curl verification);示例模型更换为当前旗舰模型 zai/GLM-5.2。
  3. 无测试、配置或部署脚本配套改动,仅通过 mkdocs 构建与 readthedocs 预览验证渲染效果。
文件 模块 状态 重要度
docs/deployment/frameworks/crusoe.md 部署文档 added 4.17

关键源码片段

docs/deployment/frameworks/crusoe.md documentation

唯一变更文件,完整定义了 Crusoe Managed Inference 的接入方式,是本次 PR 的核心内容。

# 使用 OpenAI SDK 调用 Crusoe Managed Inference(OpenAI 兼容 API)
# 该片段来自 docs/deployment/frameworks/crusoe.md,展示 vLLM 用户如何切换端点
​
import os
​
from openai import OpenAI
​
# 只需修改 base_url 与 api_key,其余代码与自建 vLLM 服务完全一致
client = OpenAI(
    base_url="https://api.inference.crusoecloud.com/v1", # Crusoe 托管端点
    api_key=os.environ["CRUSOE_API_KEY"], # 从 Crusoe Console 获取
)
​
# 模型名使用 Crusoe 模型目录中的标识(如 zai/GLM-5.2)
response = client.chat.completions.create(
    model="zai/GLM-5.2",
    messages=[{"role": "user", "content": "Hello, how are you?"}],
)
​
print(response.choices[0].message.content)

评论区精华

是否再增加一个托管服务商页面 设计

inferact-vllm-bot 认为技术上 MERGE-ready,但需要维护者决定 vLLM 是否要另一个托管服务商页面;作者随后表示愿意按维护者偏好合并、精简或折叠进现有页面。

结论:维护者 hmellor 批准合并,接受新增此页面。 · 已解决

文档构建与渲染验证 测试

维护者 hmellor 指出 build-docs 标签添加过晚,他重新构建并检查页面是否正常渲染。

结论:构建成功,预览页面可用,随后批准。 · 已解决

风险与影响

文档中的模型名称(如 zai/GLM-5.2)和 API 端点可能随 Crusoe 服务演进而过时,inferact 审核也指出模型目录无法在无账号情况下验证。这是纯文档变更,不触碰任何代码路径,回归风险极低;但若端点或模型变更,用户按文档操作可能遇到 404 或模型不存在错误。

对用户而言,新增的指南提供了一条可直接照做的接入路径,降低使用 Crusoe Managed Inference 的门槛。对团队而言,增加了一个外部服务文档页的维护成本,需要跟踪端点与模型目录变化;但该页与 frameworks 目录既有风格一致,可作为未来托管服务文档模板。对系统无运行时影响,仓库仅增加约 64 行文档。

模型目录可能过时 API 端点可能变更

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论