Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

mla 相关 PR

2026-08-29
性能优化 重要性 5.21 洞察度 5.00

为 XPU 和 ROCm 的 MLA 稀疏元数据路径固定 H2D 拷贝源,避免 host 阻塞。

该 PR 简单且安全,值得快速合入。可作为理解 vLLM 中非阻塞 H2D 拷贝和 pinned 内存重要性的参考。后续可关注是否跟进将 XPU/ROCm 收敛到 GPU 端构建路径的重构,以彻底消除 numpy 管道。

2026-08-27
缺陷修复 重要性 3.18 洞察度 3.00

更新 FlashMLA 依赖版本,修复稀疏解码不必要的工作区分配。

值得快速合入,因为它解决了实际问题且变更极小。无需深入阅读,但建议关注后续是否有对 FlashMLA 依赖版本的其他更新,以保持一致性。

2026-05-27
功能 重要性 8.28 洞察度 6.00

新增 MLA prefill 后端可插拔注册机制

建议研究与 MLA 预填充后端开发的团队成员精读此 PR,特别是 `register_mla_prefill_backend` 的设计(装饰器+直接注册双模式)和 `CUSTOM` 占位符的处理方式。该设计是可扩展架构的良好范例。