#43550 [Doc] Add Ascend NPU tab to the quickstart installation guide
原始 PR · 作者 adityasingh2400 · 合并时间 2026-05-27 16:41
在快速入门指南中新增 Ascend NPU 安装指引
建议合并。这是一项小而清晰的文档改进,遵循了既有的选项卡风格,且已通过审查和预览验证。合并后可关闭关联 Issue #43549。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 adityasingh2400 · 合并时间 2026-05-27 16:41
在快速入门指南中新增 Ascend NPU 安装指引
建议合并。这是一项小而清晰的文档改进,遵循了既有的选项卡风格,且已通过审查和预览验证。合并后可关闭关联 Issue #43549。
避免 ROCm 编译时重复 bf16 转换
该 PR 改动小巧、聚焦,验证充分(性能、精度、FX dump),建议合并。值得注意的设计决策:通过额外 buffer 而非修改全局 dtype 来避免精度影响,以及将条件守卫精确限定在编译时快路径。
原始 PR · 作者 zhangtao2-1 · 合并时间 2026-05-27 15:39
新增 MiniCPM5 XML 工具调用解析器
该 PR 设计清晰、测试全面,值得其他工具解析器实现参考。特别注意其流式参数增量构建方式(`_streaming_args_diff`)和 tokenizer 特殊字符归一化处理。建议阅读 `minicpm5xml_tool_parser.py` 中的注释理解关键决策。
修复 spec decode 下 KV connector 时序错误
建议所有使用 MRV2 + 推测解码 + KV 连接器的用户合入此 PR。设计上延迟 post_forward 到 proposer 之后是正确做法,值得作为模式参考。
暴露 AITER MoE 调度策略环境变量,支持 ROCm 性能调优
推荐合并。改动简洁、默认向后兼容,且提供了明确性能收益。建议后续引入自动化测试,并在文档中记录该环境变量。
为 Mooncake 实现 connector reset_cache,修复 RL 权重更新后外部缓存静默过时问题
值得精读,尤其关注 ZMQ admin 通道从隐式约定演进为命名标签协议的设计决策,以及 drain 发送队列 + remove_all 的竞态处理。建议在未来 PR 中强化 process_request 的输入验证和异常捕获,避免后台线程静默失效。
修复 PyTorch 2.12 下 AOT 编译测试失败
此 PR 是适配 PyTorch 2.12 的必要修复,变更简单直接,值得合并。建议后续统一检查其他使用 `VLLM_USE_MEGA_AOT_ARTIFACT` 的测试点,确保 torch 版本升级后的兼容性。
原始 PR · 作者 WoosukKwon · 合并时间 2026-05-27 10:56
重构 DeepSeek V4 compressor 并修复 ROCm 兼容性
建议合并。本次重构显著提升了代码可维护性,并修复了 ROCm 兼容性问题,是向跨平台支持迈出的重要一步。
参与讨论