#38631 Fix MLA runs when use_inductor_graph_partition=True
原始 PR · 作者 ElizaWszola · 合并时间 2026-03-31 21:37
修复 MLA 注意力在使用 inductor 图分区时输出乱码的问题。
建议快速浏览此 PR,重点关注 unified_mla_kv_cache_update 函数的改动,以理解如何确保 torch.compile 正确捕获操作。对于处理 KV cache 或注意力机制的开发者有参考价值。
参与讨论