#54371 [Qwen4Exp] Support UVA PLE-offload and Engram tensor parallelism
原始 PR · 作者 peakcrosser7 · 合并时间 2026-09-09 22:32
为 Qwen4Exp 模型新增 UVA 卸载和 ETP 张量并行支持,提升 PLE 嵌入表的内存效率。
本 PR 是一个重要的功能增强,涉及核心模型架构、分布式通信和配置系统。建议:1. **精读** `vllm/models/qwen4_exp/nvidia/ngram_embedding.py` 中的 `Qwen4ExpPLEPinnedHostEmbedding.start_prefetch` 实现,以理解 UVA 预取的异步机制。2. **关注** `vllm/distributed/parallel_state.py` 中 ETP 组的创建逻辑,以评估其对现有并行策略的影响。3. **验证** 在 DP2/TP4 等复杂拓扑下,跨 DP 嵌入查找的正确性。4. **评估** UVA 模式下的性能开销,特别是在高并发场景下。
参与讨论