执行摘要
本PR更新了Intel CPU和XPU平台的部署文档,将旧启动命令统一替换为新的sglang serve入口,并为XPU添加了完整的Docker环境搭建指南。但xpu.mdx中未包含--host 0.0.0.0参数,可能导致服务无法外部访问;此外CPU文档中部分示例的--tp值被修改,可能与模型不匹配。建议在合并后补充修复。
功能与动机
根据PR body,更新CPU/XPU文档的动机包括:添加XPU Docker环境搭建示例命令、将旧命令(python -m sglang.launch_server)替换为新的sglang serve脚本、移除--torch-compile-max-bs的约束描述(该约束已在#13881合并后解除)。
实现拆解
仅涉及文档文件,无代码变更:
cpu_server.mdx(+44/-44)
- 替换所有
python -m sglang.launch_server为sglang serve,--model改为--model-path,调整参数顺序(如--host移到最后)。
- 删除关于
--torch-compile-max-bs的额外说明(“can be up to 16”),简化注释。
- 修改部分示例的
--tp值:Llama-3.2-3B从--tp 2改为--tp 3。
xpu.mdx(+28/-3)
- 新增Docker安装章节,包含完整的构建和运行命令(挂载
/dev/dri、设置HF_TOKEN等)。
- 启动命令同样替换为新格式,但未包含
--host 0.0.0.0参数。
评论区精华
gemini-code-assist[bot]: “The --host 0.0.0.0 argument is missing in the new sglang serve command, which may affect external accessibility…”
该评论未被作者回复或修复,PR已合并,问题遗留。
风险与影响
- xpu.mdx缺少
--host参数:用户按照文档启动服务将只监听localhost,无法从外部访问,这是中优先级风险。
- cpu.mdx中
--tp值变更:例如Llama-3.2-3B从tp=2改为tp=3,若模型实际不支持3路张量并行,将导致启动失败。
- 影响范围:仅影响阅读文档的Intel CPU/XPU平台部署用户,但错误命令可能导致部署故障。
关联脉络
本PR是文档更新,关联的#13881移除了--torch-compile-max-bs的约束,本PR据此删除了相关注释。与近期CPU/XPU后端的持续支持(如#23528、#23470)一致,体现了对Intel平台的完善。
参与讨论