vllm-project/vllm

为推测解码拒绝采样器添加贪婪采样支持，优化温度为零时的性能。

建议工程团队精读此PR，特别关注`_gather_draft_logits_and_target_argmax_kernel`和`_probabilistic_rejection_kernel`的设计，以及review中讨论的正确性问题。设计决策如本地argmax计算和贪婪路径隔离值得学习。

添加gpt-oss优化的Router GEMM kernel，提升低批次大小下的输出token吞吐量。

建议技术管理者和工程师精读此PR，重点关注以下设计决策： - GateLinear中多层GEMM调度的实现，如何平衡性能和通用性。 - 新kernel的错误处理和硬件兼容性检查，使用TORCH_CHECK替代assert。 - 与LoRA集成的扩展，通过GateLinearWithLoRA支持自定义路由。 这些决策展示了在优化性能时的权衡和最佳实践。

修复 GLM-4.7 工具调用解析正则表达式，规范化内容为 None 以符合 OpenAI API。

对于处理工具调用或 GLM 模型的工程师，建议精读正则表达式修改和内容规范化逻辑，以理解解析细节和 API 兼容性设计。同时，关注测试用例以掌握边界场景。

为 Qwen3 模型输入投影启用双流执行，提升 GPU 并行度和推理性能。

建议技术管理者审查自定义操作设计和流同步机制，确保无死锁风险。工程师可精读 maybe_execute_in_parallel 函数学习多流优化模式，并关注 issue #37372 跟踪原生多流支持。该 PR 值得关注其性能提升与代码设计的权衡。

添加 Cohere ASR 语音转录模型支持，扩展 vLLM 多模态能力。

建议技术管理者和工程师精读此 PR，重点关注： 1. **模型实现**：`cohere_asr.py` 中的编码器-解码器架构设计，特别是与变长编码器集成的部分。 2. **设计决策**：`skip_decoder_start_token` 标志的引入和传播方式，体现了非侵入式扩展模式，值得借鉴。 3. **Review 洞察**：讨论中的设备处理和代码共享权衡，可帮助避免类似硬编码陷阱。 4. **关联变更**：结合 PR 31058 等历史变长编码器改进，理解整体架构演进。

修复Python <= 3.10上mock.patch解析FakeTensorMode失败导致的编译崩溃。

这是一个小而关键的bug修复，值得工程师精读以理解mock.patch在不同Python版本下的行为差异。关注的设计决策包括使用sys.modules绕过字符串解析问题，以及针对版本兼容性的注释，这些技巧在处理跨版本兼容性时具有借鉴价值。

引入AMD Zen CPU后端，通过zentorch优化GEMM操作以提升性能。

推荐技术管理者和工程师精读此PR，重点关注平台检测机制（`_is_amd_zen_cpu`函数）和GEMM分发逻辑（`dispatch_cpu_unquantized_gemm`函数）的设计决策。注意review中关于缓存键和依赖管理的讨论，以了解潜在陷阱。对于涉及CPU后端优化或平台扩展的项目，此PR提供了可复用的架构模式。

修复混合注意力模型 KV 缓存初始化失败，将分组阈值从 1.25 提高至 1.5。

建议工程师阅读此 PR 以了解 KV 缓存分组逻辑的启发式阈值设计，并关注 gemini-code-assist[bot] 提出的配置性建议，这对于长期代码维护有参考价值。