#54941 [Transformers backend] Find attention with a fuser and attach vLLM's layer to it
原始 PR · 作者 bohnstingl · 合并时间 2026-09-05 00:26
重构
重要性 9.36
洞察度 7.00
重构 Transformers 后端注意力发现与附加机制，解决模块树、缩放与索引的三个潜在 bug。
这是一个高价值的架构改进 PR，解决了 Transformers 后端的多个根本性问题。建议：1. **精读核心逻辑**：重点关注 `AttentionFuser` 的实现、融合器列表的生成与应用逻辑，以及 `create_attention_instances` 中注意力附加和错误检查的部分。理解这些是理解整个变更的关键。2. **验证测试覆盖**：检查新增的测试用例（`test_attention_dispatch_is_matched` 等）是否覆盖了关键场景，如 MLA、非标准缩放（Gemma, DeepSeek, OPT）、层索引自定义（LongCat Flash）。3. **关注后续依赖**：此 PR 改变了融合器接口，需要确保所有调用点都已更新。4. **留意关联 PR**：注意与 PR#52156（注意力 sinks）的重叠和解决方案的差异。本 PR 通过附加而非 `nn.ModuleList` 注册来解决模块树可见性，同时带来了额外好处。