vllm-project/vllm

拒绝空tools数组并返回400

值得阅读 review 讨论中关于 OpenAI 行为演变的调查部分，展示了如何通过社区报告推断外部 API 变更。变更本身简单清晰，适合作为 API 兼容性修复的参考。

修复Mistral模型在语法约束下的工具和推理解析失败问题。

建议精读此PR以理解Mistral语法约束解析的设计权衡，特别是全局状态问题的临时解决方案和测试覆盖的全面性。关注`vllm/tool_parsers/mistral_tool_parser.py`中的整合逻辑和服务层路由条件，可作为工具解析集成的参考案例。

通过代码生成替代FX图执行，减少推理循环的运行时开销。

建议技术管理者精读此PR，重点关注代码生成器的设计决策和潜在漏洞。对于工程师，值得学习如何通过代码生成优化Python执行路径，但需注意review中提到的未解决问题，并在相关工作中避免类似陷阱。

在AMD ROCm平台集成aiter GEMM内核，优化FP8推理性能。

建议工程师精读此PR，重点关注内核选择逻辑（如`can_implement`方法如何实现条件分发）以及权重处理流程。这对于理解ROCm平台性能优化和量化内核集成有重要参考价值。

修复概率拒绝采样器中num_sampled张量数据类型不匹配导致的Triton编译错误。

该PR值得快速浏览，重点关注数据类型一致性在GPU内核交互中的重要性。虽然变更简单，但揭示了在混合Python/Triton代码中类型匹配的常见陷阱，可作为类似问题的参考案例。

实现量化模型中注意力缩放权重的层间重载，修复标量权重计数问题。

该PR值得精读，特别是`layerwise.py`中的`_finalize_attention_layer`和`_reload_attention_scales`函数，展示了如何处理注意力层的独特重载逻辑和设计中的顺序权衡。关注点包括：设备放置逻辑的潜在问题、注意力层与线性层的处理顺序依赖，以及标量权重加载修复对计数机制的影響。

将Transformers核心依赖从v4升级至v5.5.3，同步更新相关库并调整代码适配。

建议所有工程师精读此PR，尤其关注`vllm/tokenizers/registry.py`和`vllm/model_executor/model_loader/gguf_loader.py`的变更，它们揭示了Transformers v5在配置加载和状态字典格式上的关键变化。设计决策中关于测试与生产环境依赖分离的权衡值得学习。

动态 BOS 注入修复 Gemma 4 PT 模型重复 token

该 PR 值得精读，尤其是它展示了一个轻量级的条件分支设计：通过检查 tokenizer 的 `chat_template` 属性来适配两种不同模型类型（IT vs PT），避免硬编码假设。建议团队为类似场景（同一个模型架构存在 IT/PT 变体）建立统一的处理模式。