#24880 [PD & HiSparse] Add DeepSeek V4 support for HiSparse direct Prefill-to-Decode DRAM
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-06-05 15:39
支持 DeepSeek V4 HiSparse 直接 PD 主机传输,TTFT 降 7-9%
此 PR 涉及推理引擎内核、内存池、JIT 编译和远程传输多个模块的联动修改,建议所有参与 SGLang 推理引擎开发的同学精读。尤其是 `DeepSeekV4PagedHostPool` 的布局设计、`transfer_cache_dsv4_mla` 的 JIT 实现、以及 Mooncake 传输的 PP 对齐策略,具有较高的参考价值。
参与讨论