#32623 [Attention] Abstract the MLA prefill backends and eliminate cuDNN
原始 PR · 作者 MatthewBonanni · 合并时间 2026-05-02 01:36
抽象 MLA prefill 后端,引入选择机制并移除 cuDNN
建议精读 `vllm/v1/attention/backends/mla/prefill/selector.py` 和 `base.py`,理解后端的注册与选择模式。整个设计值得在 vLLM 其他 attention 层推广。由于可能存在的 regression,更新后需在生产环境充分验证 MLA 模型推理。
参与讨论