统一内存池放开 paged MLA 注意力后端,并修复 cuda-graph 静默错读
值得精读。核心看点:(1) `create_flashmla_kv_indices_triton` 用 kernel 内 v2p gather + `PAGE_MULT` 取代 host 端 remap,省一次 launch 与临时 tensor;(2) 用能力探测(`full_v2p_page_table` 是否存在)而非 multiplier 推断 unified pool,规避单层 MLA 配置的静默错读;(3) flashinfer decode 采用原地写回而非 per-role allowlist 分裂,并明确依赖 flashinfer `plan()` 的复制合约;(4) cuda-graph 下“图外预计算 dense 写位置 + replay 前清零尾部”的写法,解决 pad 行 stale loc 问题。PR body 中关于 GSM8K 0.000 的复现与诊断过程(无 crash、无警告、仅在服务有负载历史后出现)本身就是很好的 cuda-graph 调试案例。
参与讨论