执行摘要

PR #20410 通过添加环境变量 SGLANG_DISAGGREGATION_NUM_PRE_ALLOCATE_REQS，允许在PD解聚模式中配置KV缓存传输重叠的额外槽位，从而提升解码吞吐量，特别适用于AMD大内存硬件如MI355X，测试显示吞吐量改善约1.5%。

功能与动机

此变更旨在解决PD解聚服务中的性能瓶颈：当 max_num_reqs > 32 时，之前的硬编码逻辑限制了KV传输与解码执行的重叠，影响吞吐量。PR body 强调：“在PD解聚服务中，多个KV传输应与正在进行的解码执行重叠”，以最大化硬件资源利用率，尤其是在AMD平台上。

实现拆解

• 配置层：在 environ.py 中新增环境变量定义，默认值为0。
• 核心逻辑：修改 model_runner_kv_cache_mixin.py 的 _init_pools 函数：
  

  pre_alloc_size = envs.SGLANG_DISAGGREGATION_NUM_PRE_ALLOCATE_REQS.get()
  pre_alloc_size = (
      max_num_reqs * 2 if max_num_reqs <= 32 else pre_alloc_size
  )
  

  
  这替代了原硬编码 0，允许用户在不增加 max_running_requests 的前提下配置额外槽位。

评论区精华

review 讨论极少，仅有一条来自 hnyls2002 的代码风格建议：

“Import from top level.”

这促使导入语句优化，确保模块结构清晰，可能已在后续 commit 中调整。

风险与影响

• 风险：新增环境变量需文档支持以避免配置错误；增加槽位可能占用更多内存，需用户根据硬件资源谨慎设置。
• 影响：正面提升AMD平台解码性能，测试显示吞吐量从7.40 req/s增至7.53 req/s；对现有系统默认无影响，但需注意内存使用增长。

关联脉络

该PR是近期AMD优化系列的一部分，与PR #21234（AMD MXFP4支持）和PR #21315（AMD融合rope kv store）相关联，表明仓库正聚焦于AMD硬件的性能增强。这反映了团队在扩展硬件兼容性和优化资源利用方面的持续投入。