#20410 [AMD] Add SGLANG_DISAGGREGATION_NUM_PRE_ALLOCATE_REQS env var for configurable KV transfer overlap
原始 PR · 作者 ZhaiFeiyue · 合并时间 2026-03-31 05:37
添加环境变量配置KV传输重叠槽位,提升解码吞吐量。
该PR变更聚焦于特定性能优化,实现直接,适合需要了解PD解聚模式KV传输机制的工程师精读。建议关注环境变量的使用场景和测试结果,以评估在生产部署中的适用性。
参与讨论