Prhub

#6700 [Docs] Add docs for disaggregated deployment

PaddlePaddle/FastDeploy · 作者 CyanScholar · 合并时间 2026-04-01 19:27

分析状态 已生成
文件变更 6提交数 3 · 评论 16
代码增减 +513 / -0
docs Feature KVCache Scheduler

执行摘要

新增 PD 分离部署的最佳实践文档,涵盖单机和跨机混合并行配置。

根据PR body,作者指出'目前缺少PD分离部署下的混合并行的实践文档,本文档测试过了多个混合并行和跨机部署的场景,完善了这一方面。' 这反映了社区对PD分离部署实践指导的需求,以帮助用户更好地利用FastDeploy的混合并行能力。

建议快速浏览以获取PD分离部署的关键实践要点,重点关注配置表格和启动脚本部分,但无需深入代码细节;对于部署人员,此文档值得精读以规避常见配置错误。

讨论亮点

Review中主要围绕文档准确性展开:juncaipeng 指出需要明确区分Prefill和Decode配置(如'区分P TP4DP1 D TP4DP1'),调整并行度描述以避免混淆,并添加高性能router的链接说明;Copilot 建议修复英文文档中的链接指向英文站点而非中文页面,并指出multi_api_server启动命令参数错误可能导致部署失败。讨论结论是作者采纳了这些建议,在后续提交中更新了文档以解决这些问题。

实现拆解

实现方案分为三个部分:1) 新增英文和中文的PD分离部署最佳实践文档(docs/best_practices/Disaggregated.md 和 docs/zh/best_practices/Disaggregated.md),内容包括部署概览、环境准备、单机和跨机部署步骤,并附有配置表格和拓扑图;2) 更新best_practices目录下的README.md文件,在中英文版本中添加新文档的索引链接;3) 更新features/disaggregated.md文件,在中英文版本中增加指向最佳实践文档的跳转链接,以增强文档可发现性。

文件 模块 状态 重要度
docs/best_practices/Disaggregated.md Documentation added 5.0
docs/zh/best_practices/Disaggregated.md Documentation added 5.0
docs/features/disaggregated.md Documentation modified 3.0
docs/best_practices/README.md Documentation modified 2.0

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

配置准确性改进 正确性

juncaipeng 指出文档中配置描述不明确,如 ' 区分 P TP4DP1 D TP4DP1' 和 'EP 后面需要 8',要求细化 Prefill 和 Decode 的并行度标识。

结论:作者更新了文档,明确区分了 Prefill 和 Decode 配置,并调整了并行度描述以提高准确性。 · 已解决

启动命令参数错误 正确性

Copilot 指出 docs/best_practices/Disaggregated.md 中 multi_api_server 启动命令参数不符合实际用法,可能导致部署失败,建议调整 --args 参数。

结论:作者可能已根据建议修改命令,但 review 中未明确确认;提交历史显示文档更新,风险部分缓解。 · partially resolved

文档链接优化 设计

juncaipeng 要求增加高性能 router 链接,Copilot 建议修复英文文档链接指向英文站点而非中文页面。

结论:文档中添加了 router 链接说明,并可能更新了链接指向,以提升用户体验和一致性。 · 已解决

风险与影响

风险较低,主要为文档内容风险:如果文档中的配置示例或启动命令不准确(如docs/best_practices/Disaggregated.md中的multi_api_server参数错误),可能导致用户部署时遇到错误或失败。此外,链接指向错误(如英文文档引用中文站点)可能影响用户体验。由于是文档变更,无代码回归、性能或安全风险。

对用户影响积极:提供了清晰的部署指南,降低了PD分离部署的实施门槛,特别有助于混合并行和跨机场景的实践。对系统无直接影响,但文档质量提升可能间接提高用户部署成功率和系统利用率。对团队而言,文档完善有助于减少支持请求,提升项目可维护性。

文档准确性风险 启动命令错误

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

执行摘要

该PR新增了PD分离部署的最佳实践文档,涵盖单机和跨机混合并行配置,旨在解决当前FastDeploy中相关文档缺失的问题。通过详细部署指南、配置示例和启动脚本,为用户提供了一站式参考,风险较低但需注意文档准确性。

功能与动机

为什么做:根据PR body,作者指出“目前缺少PD分离部署下的混合并行的实践文档”,因此创建此文档以补充FastDeploy的部署指南,帮助用户实施混合并行和跨机部署场景。

实现拆解

实现方案按文档模块拆解如下:

  • 核心新增文档docs/best_practices/Disaggregated.mddocs/zh/best_practices/Disaggregated.md 新增中英文最佳实践文档,内容一致,包括:
    • 部署概览和环境准备,附配置表格(如TP/DP/EP并行度)。
    • 单机和跨机部署拓扑图。
    • 详细启动脚本示例,使用ERNIE-4.5-300B模型和H100 GPU。
  • 文档索引更新docs/best_practices/README.mddocs/zh/best_practices/README.md 添加新文档索引项。
  • 功能文档链接docs/features/disaggregated.mddocs/zh/features/disaggregated.md 增加“最佳实践”跳转链接,增强导航。

评论区精华

Review讨论聚焦于文档准确性,主要交锋如下:

  • juncaipeng:要求区分Prefill和Decode配置,例如“区分P TP4DP1 D TP4DP1”,并指出“EP后面需要8”以细化并行度描述。
  • Copilot:建议修复英文文档链接指向英文站点,并警告“multi_api_server启动命令参数错误可能导致部署失败”。
    讨论结论是作者采纳建议,在提交中更新文档以解决这些问题,提升了文档质量。

风险与影响

风险:主要风险是文档内容不准确,如启动命令参数错误(见于docs/best_practices/Disaggregated.md)可能误导用户部署失败;链接指向错误可能影响用户体验。无代码回归或性能风险。
影响:对用户影响积极,提供了实用部署指南,降低实施门槛;对系统无直接冲击,但文档完善可能间接提升部署成功率和团队效率。

关联脉络

该PR与近期历史PR关联紧密,揭示了PD分离部署功能的持续演进:

  • PR 7107:优化PD分离部署的缓存处理和调度逻辑,为本文档提供了技术基础。
  • PR 6929:修复KVCache bug,PD分离部署依赖缓存管理,此修复确保部署稳定性。
  • 其他相关PR:如PR 6992新增中断请求端点,展示了系统功能的扩展,与本文档的部署实践相辅相成。
    整体来看,FastDeploy在PD分离部署方向正通过代码优化和文档补充双线推进,以支持更复杂的混合并行场景。

参与讨论