A high-throughput and memory-efficient inference and serving engine for LLMs
作者 vibhavagarwal5 · 合并时间 2026-04-11 16:35
修复GDN FLA内核因CUDA图形填充从-1改为0导致的非法内存访问崩溃。
建议工程师精读以理解内核守卫设计与CUDA图形填充的交互，以及如何处理哨兵值（如NULL_BLOCK_ID）来防止状态损坏。这对于开发类似内核或维护相关代码有借鉴价值。
作者 bigPYJ1151 · 合并时间 2026-04-11 15:04
修复CPU测试Dockerfile中sentence-transformers版本号错误，确保依赖解析成功。
该PR变更简单直接，无需精读。值得关注的是review中版本号验证的重要性，可作为依赖管理的最佳实践参考。
作者 z1ying · 合并时间 2026-04-11 14:25
更新vllm serve中--model参数的弃用警告版本号，避免误导用户。
该PR变更简单，无需深入精读。对于技术管理者，可快速浏览以了解文档维护活动；对于工程师，除非负责CLI或文档模块，否则无需特别关注。
作者 elwhyjay · 合并时间 2026-04-11 13:57
为Exaone4_5_MTP模型添加多模态支持接口，修复投机解码中的崩溃问题。
该PR是一个直接的bugfix，值得快速浏览以理解多模态接口的集成模式。关注点在于embed_input_ids方法的实现如何合并文本和多模态嵌入，以及_merge_multimodal_embeddings工具函数的使用。对于从事多模态模型或投机解码开发的工程师，这是一个很好的参考示例。
作者 gty111 · 合并时间 2026-04-11 13:47
修复调度器中 _free_encoder_inputs 调用顺序，防止编码器输入在多模态投机解码下过早释放。
建议技术管理者关注此 PR，因为它揭示了调度器中的微妙竞态条件，强调了测试在核心路径中的重要性。工程师应精读以理解调度顺序的依赖关系，并考虑添加相关测试以确保覆盖。
作者 yma11 · 合并时间 2026-04-11 09:31
修复XPU平台投机解码单元测试的跳过条件，使测试能在XPU上运行。
建议技术管理者关注此PR中的平台适配策略，特别是设备计数和跳过逻辑的设计权衡。工程师可从中学习如何处理多平台测试的兼容性问题，精读review讨论以理解争议点和决策过程。
作者 benchislett · 合并时间 2026-04-11 08:07
回滚在B200设备上添加的投机解码夜间测试配置，解决CI失败问题。
这是一个简单的CI配置回滚，技术内容较少。建议：1) 对于CI/基础设施维护者，值得快速浏览以了解测试配置的变更。2) 对于投机解码功能开发者，需要关注#39441 issue以了解B200设备上测试失败的根本原因。3) 对于一般开发者，无需深入阅读代码，但应知晓测试覆盖的临时调整。
作者 mgoin · 合并时间 2026-04-11 06:27
更新GPU安装文档，统一使用--torch-backend=auto并修正CUDA版本和GPU要求。
该PR值得快速浏览以了解安装文档的最新推荐实践，特别是--torch-backend=auto的使用。关注点：1) 文档中仍存在cu130示例可能带来的混淆；2) GPU计算能力要求变更对兼容性的影响。
参与讨论