vllm-project/vllm

MiniMax-M3 支持 FP8 稀疏 GQA

建议精读此 PR，以了解如何在稀疏注意力模型中集成 FP8 KV cache 支持，以及如何将手动 fallback 路径融合到统一 kernel 中。`select_main_impl_cls` 的选择逻辑调整（从 `is_quantized_kv_cache` 到 dtype 精确判断）是一个值得关注的设计决策。

将 NIXL 锁定至 1.2.0 版本

简单且必要的依赖锁定变更，建议尽快合并以恢复 CI 稳定性。

MiniMax-M3 Triton indexer decode 按 request 批量处理 spec-decode tokens

值得精读，尤其关注 Triton 内核优化模式：利用 constexpr 元数据避免重编译、通过虚拟 batch 批量处理 query tokens、移除冗余计算。设计决策中对无 spec-decode 场景保持兼容的做法也值得借鉴。

使自定义 mask mod 支持全 CUDA 图捕获

该 PR 展示了如何分步实现复杂兼容，值得关注 vLLM 注意力后端与 CUDA graphs 兼容性设计的读者阅读。设计中在构造函数缓存结果是一个好的模式，避免了运行时重复获取配置。此外，对边界情况的处理（使用 set 检测不一致）也值得借鉴。

修复 V1 单进程模式下编译模型 Bytecode Hook 残留导致内存泄漏

建议阅读该 PR，特别是 `weakref.finalize` 和 `TorchDynamo` 钩子生命周期的管理方式。它展示了如何在不引入侵入式接口的前提下，实现资源的可靠释放，是 vLLM 编译模块清理机制的参考实现。

修复 MRV2 与多种模型和配置的兼容性问题

建议相关开发者重点阅读 model_runner.py 中 `input_ids` 置 None 的条件逻辑以及 encoder_runner.py 中 `is_embed` 累加的修正，这是典型的边缘情况处理。整体 PR 可作为 MRV2 兼容性修复的参考模式。

修复 ROCm FP8 per-tensor scale 维度不匹配导致编译失败

推荐关注该 PR 的开发者阅读 `apply_scaled_mm` 中的注释和改动，以便理解 `torch.compile` 对 scale tensor rank 的严格约束。设计上选择 `.view` 而非 `.reshape` 体现了对性能的谨慎考量，值得借鉴。

修复ROCm上MiniMax-M3 FP8 KV缓存dtype错误

本 PR 值得关注，尤其是跨平台 dtype 决策的提炼方式：引入 `current_platform.fp8_dtype()` 和 `is_fp8_fnuz()` 避免了平台硬编码，是类似问题的标准处理模式。同时，新增的测试覆盖了平台参数化，可以作为 dtype 选择场景的参考模板。建议开发者在涉及平台类型差异时采用类似策略。