vllm-project/vllm

修复MiniMax M2工具解析器在流式输出时因批次大小导致的参数丢失问题。

此PR值得精读，尤其关注如何重构状态机处理流式解析边界情况，设计决策如缓冲策略和安全性权衡有学习价值。建议工程师查看`extract_tool_calls_streaming`函数和测试用例，以理解XML解析优化。

修复ROCm平台attention backend验证因不规则block_size导致的模型启动失败。

对于工程师，此PR不值得深入阅读，除非需了解ROCm平台验证逻辑或一致性修复模式。可快速浏览以确认变更与CUDA对齐，并注意类似的跨平台bugfix策略，作为维护代码一致性的参考案例。

新增 Kimi-Audio 语音转文本模型支持，集成 Whisper 编码器与 Qwen2 解码器。

该 PR 值得精读，特别是模型融合逻辑（如 `embed_input_ids` 方法中的音频-文本嵌入处理）和自定义 tokenizer 设计，这些展示了在多模态模型中处理非标准组件的技术权衡。建议关注 review 讨论中的设计决策，如 renderer 适配和处理器简化，以借鉴于类似项目。

将gRPC servicer提取到外部包，新增--grpc标志启用gRPC服务器。

建议工程师精读此PR，以了解如何通过模块化设计分离核心功能与外部服务，关注依赖管理的调整和懒导入的实现。

为Qwen3 Next添加融合sigmoid gating delta rule更新kernel，减少内存流量和启动开销。

该PR值得精读，重点关注融合kernel的设计决策（如支持spec解码、数据类型处理）和性能优化策略（如用rsqrt替换sqrt）。工程师可学习Triton kernel融合技巧，管理者可评估性能改进对生产部署的价值。

修复 LMCache 多进程模式下因未释放查找锁导致的内存泄漏问题。

建议团队阅读此 PR 以理解 LMCache 锁管理机制和并发处理。变更虽直接，但涉及关键内存安全，值得在类似上下文中参考。注意 maobaolong 提出的未解决问题，可能需要后续调查。

为Flashinfer MLA Sparse attention backend添加FP8 KV缓存支持，实现约14%吞吐提升。

建议技术管理者和工程师精读此PR，特别是关注mla_attention.py中的dtype转换逻辑和flashinfer_mla_sparse.py的backend扩展，以理解fp8 kv cache的设计权衡和性能优化策略。

实现GPU加速的ngram推测解码，并与异步调度兼容，提升推理性能。

该PR值得精读，重点关注GPU kernel的设计（如torch.compile优化和向量化操作）、async scheduling集成中的性能权衡（如内存与速度平衡），以及review中讨论的代码重构决策（如逻辑迁移以减少核心文件影响）。