#40534 [Model] Gemma4: add bidirectional vision attention for sliding layers with window guard
原始 PR · 作者 lucianommartins · 合并时间 2026-04-24 16:27
Gemma4双向视觉注意力支持及滑动窗口守卫
该 PR 实现清晰,注释详实,测试数据充分。建议开发者重点关注 `_clear_mm_prefix_for_full_attn_layers` 的设计模式:在 compiled graph 外部管理注意力元数据,避免侵入 torch.compile 区域。对多模态模型研发者具有参考价值。
参与讨论