#1735 [slime-router] support pd disaggregation and remove radix tree middleware

原始 PR 作者 zhuzilin 合并时间 2026-03-18 11:48 文件变更 12 提交数 1 评论 0 代码增减 +322 / -1078

执行摘要

支持 PD 分离并移除 radix tree 中间件，重构 slime 路由器以简化架构。

从文档更新（如docs/en/advanced/slime-router.md）可以看出，PD分离旨在优化rollout性能，通过将prefill和decode任务分发到不同类型worker来实现更高吞吐。移除radix tree中间件是因为该功能可能不再需要或被其他机制替代，以简化路由器的配置和维护。

该PR值得精读，特别是slime/router/router.py中的PD分离实现，展示了支持不同类型worker的路由设计决策，以及清理过时代码的架构优化思路。

讨论亮点

PR中没有review评论，表明变更可能经过内部讨论后直接合并，没有公开的争议或设计权衡。

实现拆解

实现方案按模块拆解：

1) slime/router/router.py中重构路由器核心，添加WorkerType枚举和WorkerInfo类支持PD分离，并移除中间件加载逻辑；
2) 删除slime/router/middleware_hub/目录下的radix_tree.py和radix_tree_middleware.py文件，彻底移除中间件实现；
3) 更新slime/rollout/sglang_rollout.py，移除对radix tree中间件的调用，简化rollout流程；
4) 修改参数定义（slime/utils/arguments.py），删除--slime-router-middleware-paths选项；
5) 同步更新中英文文档以反映新功能和移除的中间件。

文件	模块	状态	重要度
`slime/router/router.py`	router	modified	9.0
`slime/router/middleware_hub/radix_tree.py`	middleware	removed	7.0
`slime/rollout/sglang_rollout.py`	rollout	modified	6.0
`slime/utils/arguments.py`	arguments	modified	5.0

关键符号

run_router SlimeRouter WorkerType WorkerInfo _setup_routes

分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。

风险与影响

技术风险包括：

1) 移除radix tree中间件可能导致依赖此功能进行文本到令牌缓存的用户出现回归问题，影响token对齐；
2) PD分离引入新的路由逻辑（如slime/router/router.py中的WorkerInfo管理），增加系统复杂性，需测试负载均衡和错误处理；
3) 兼容性风险，用户需更新配置，移除中间件相关参数，可能引起配置错误。

影响范围：

1) 用户需调整配置，不再支持自定义中间件，简化了接口但可能限制灵活性；
2) 系统性能可能因PD分离而提升，但依赖于worker类型的正确注册和路由逻辑；
3) 代码库简化，减少了维护负担，但移除了过时功能需确保无依赖残留。

移除核心中间件新路由逻辑复杂度配置变更影响

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。

完整报告

PR 1735 分析报告

1. 执行摘要

本次PR在slime路由器中支持Prefill-Decode（PD）分离以提升性能，并移除radix tree中间件以简化架构。变更影响路由器核心逻辑和用户配置，属于重大架构调整，旨在优化rollout流程并减少维护负担。

2. 功能与动机

动机源于优化rollout性能的需求：PD分离通过将prefill和decode任务分发到不同类型worker（如prefill、decode、regular），提升高并发下的吞吐量。同时，移除了过时的radix tree中间件，该中间件原先用于文本到令牌缓存，但可能已不再必要或被替代，以简化系统设计和用户接口。从文档更新（如docs/en/advanced/slime-router.md）可见，新功能强调流式代理和PD双发路由，而移除中间件减少了配置复杂性。

3. 实现拆解

按模块拆解关键改动：

路由器核心（slime/router/router.py）：添加WorkerType枚举和WorkerInfo类以支持PD分离，重构路由逻辑，并移除中间件加载代码。关键代码如下：
```
class WorkerType(str, Enum):
    REGULAR = "regular"
    PREFILL = "prefill"
    DECODE = "decode"
```
中间件移除：删除slime/router/middleware_hub/目录下的radix_tree.py和radix_tree_middleware.py文件，彻底废弃radix tree功能。
- rollout流程（slime/rollout/sglang_rollout.py）：移除对radix tree中间件的调用，简化token更新逻辑。
- 参数配置（slime/utils/arguments.py）：删除--slime-router-middleware-paths参数，影响用户命令行选项。
文档同步：更新中英文文档以反映PD分离和移除中间件的变化。

4. 评论区精华

PR中没有review评论，表明变更可能经过内部讨论后直接合并，没有公开的技术争议或设计权衡。这提示变更可能被视为低风险或已充分验证。

5. 风险与影响

风险：

移除radix tree中间件可能导致依赖此功能的用户出现回归，影响token对齐和训练精度。
PD分离引入新的路由逻辑，增加系统复杂性，需充分测试负载均衡和容错机制。
配置变更可能引起用户错误，例如旧脚本中使用--slime-router-middleware-paths参数会失效。

影响：

用户需更新配置，不再支持自定义中间件，但简化了使用门槛。
系统吞吐量可能提升，但性能增益依赖于worker类型注册和路由策略的正确实现。
代码库精简，减少了长期维护成本，但需确保无遗留依赖。

6. 关联脉络

从同仓库历史PR看，本PR与以下变更相关：

PR 1770（切换sglang-router依赖）：同样涉及路由器外部依赖更新，共同推动路由器架构演进。
PR 1746（placeholder worker类型和指标路由）：在worker类型管理方面有重叠，表明仓库正持续优化路由器功能以支持多样化rollout场景。
这些关联显示slime路由器处于活跃开发阶段，重点在性能优化和架构简化。