vllm-project/vllm

为gfx950添加专用FP32路由器GEMM Triton内核，显著降低小token批处理延迟。

此PR值得精读，特别是其针对特定硬件和形状的内核设计、与现有分发逻辑的无缝集成方式，以及全面的性能与正确性验证方法。其设计决策（如`M`为运行时参数、基于形状的启动配置、自定义算子包装以支持动态编译和CUDA图）体现了对vLLM编译和捕获流程的深刻理解，具有借鉴价值。对于关注ROCm性能优化、MoE路由器实现或Triton内核开发的工程师，本PR提供了高质量的参考实现。主要关注点是其硬件特异性和形状硬编码带来的维护性问题，以及分发逻辑的优先级管理。

新增手动融合入口，将激活量化融合从编译器 Pass 迁移至模型代码显式调用。

此 PR 是 vLLM 量化优化架构演进的重要一步，引入了一个设计良好、可扩展的手动融合框架。虽然当前只应用于 Llama 模型，但其接口设计为扩展到其他模型和量化方案奠定了坚实基础。代码实现清晰，测试覆盖全面（包括单元测试和端到端测试）。主要风险在于可能引入的 CI 失败（如 IMA 问题）和性能的精确量化。建议： 1. **值得精读**：对于关注量化优化、编译器融合或模型性能的工程师，本 PR 的实现细节（尤其是融合映射机制和接口设计）非常有参考价值。 2. **重点关注**：需要仔细审查与 CI IMA 问题相关的具体原因，确保稳定性。同时，关注后续的 TP2 一致性测试和 A/B 性能对比结果。 3. **建议动作**：建议在解决 CI 问题后合并，并跟踪其在更大规模模型和硬件上的表现，为后续扩展到其他模型（如 Mixtral）提供数据支持。

修复混合精度NVFP4检查点无法加载FP8 PLE权重的bug。

这个 PR 值得精读，因为它揭示了量化配置兼容性处理中的一个常见模式（不同约定处理相同需求）。核心设计决策——在顶层函数中增加对 `ModelOptMixedPrecisionConfig` 的早期分支处理——是清晰且局部的。然而，评论中指出的修复局限性是关键信息，管理者应知晓当前修复并非完全解决方案。建议关注后续是否有针对 `exclude`/`ignore` 列表约定的补充修复。

为 Kimi-K3 模型启用 CuteDSL MoE 后端的 SiTU 激活和 SM107 硬件的低延迟 GEMM 计划。

此 PR 值得精读，特别是对于关注高性能 MoE 实现、硬件特定优化或 Kimi-K3 模型部署的工程师。其技术亮点在于：1) 巧妙地遵循并扩展了 FlashInfer 内核的 SiTU 支持契约；2) 做出了务实的硬件表格复用决策，并文档化了未来优化空间；3) 提供了详细的硬件级验证数据，增强了变更的可信度。对于其他开发者，这是一个理解 vLLM 如何集成新模型特性和进行硬件适配的好案例。

为 GLM-5.3-Flash 模型添加完整的 vLLM 支持，包括 MLA/KDA 注意力、kpool 稀疏索引、MTP 推测解码和多模态处理。

此 PR 实现了一个极其复杂的混合模型支持，展现了重大的工程努力。然而，它也因社区的大量现场报告而暴露出显著的质量和兼容性问题。**建议精读**以理解其架构设计（kpool 稀疏索引、混合分组），但**在合并前必须确保核心的正确性和稳定性问题得到解决**，特别是 kpool 索引器的静默损坏问题和主要平台（Blackwell, ROCm）的启动崩溃。应优先合并已识别的修复 PR（如 #10, #7）到此分支，并验证前缀缓存和 Mooncake 连接器的集成。

修复 KV Offload 在循环组中因无哈希块导致的加载边界截断和断言失败。

**建议精读**。这是一个针对生产环境关键路径的、定位精确的 bugfix。PR 描述极其详尽，包含了从问题发现、根因分析、修复方案到验证方法的完整技术故事，展现了极高的工程质量。对于维护 `kv-connector` 和 `offloading` 模块的工程师，以及关注混合架构模型部署的工程师，本 PR 的设计决策、调试方法和测试策略都值得深入学习。

修复 SimpleCPUOffload 调度器中 BlockStored 事件元数据缺失与不正确的问题。

此 PR 值得精读。它不仅修复了一个具体的数据正确性 bug，更展示了在异步系统架构中如何通过“快照-携带”模式保持元数据一致性的设计。关键的设计决策包括：引入 `BlockStoreMeta` 数据类、修改 `TransferMeta` 作为元数据载体、以及针对不同 KV 缓存组（FA、滑动窗口、Mamba）的元数据生成逻辑。对于从事系统编程、异步架构设计或关注可维护性的工程师，本 PR 的实现细节和审查讨论具有较高参考价值。

弃用 Mamba 缓存模式 "all" 并为 MRV2 添加回退至 MRV1 的支持检查。

此 PR 变更范围小、逻辑清晰，旨在解决一个明确的配置兼容性问题。作为 v0.29.0 的 cherry-pick，它具有较高的合并优先级。建议精读以了解 vLLM 如何处理新旧模型运行器（MRV1/MRV2）之间的特性支持差异和配置回退逻辑。这是一个良好的工程实践案例：通过配置验证和兼容性检查来管理功能弃用。