ROCm 升级 aiter 依赖到 v0.1.13-rc5
该 PR 为常规依赖升级,价值较低,不值得深入精读。
A high-throughput and memory-efficient inference and serving engine for LLMs
ROCm 升级 aiter 依赖到 v0.1.13-rc5
该 PR 为常规依赖升级,价值较低,不值得深入精读。
为 LoRA MoE 添加初始 Expert Parallelism 支持
本 PR 值得所有关注 MoE + LoRA 联合优化的开发者精读。核心设计亮点包括:通过 `extra_tensors` 机制扩展 all-to-all 调度以携带元数据;通过 `local_token_lora_mapping` 保留了 rank 本地的 LoRA 映射;通过断言检查避免了与 `fully_sharded_loras` 的冲突。review 中关于切片时机的讨论也反映了 vLLM 中数据编排的常见模式。
C++标准从17升级到20以兼容PyTorch
建议精读该PR,尤其是评论中关于PyTorch C++标准演进方向的讨论。它反映了下游项目如何应对上游依赖的breaking change,对于维护大型分布式系统具有参考价值。
修复 GLM 非流式工具解析器去除首尾空格
建议精读。这是一个典型的细小但重要的 bugfix,展示了如何通过审慎的条件判断解决语义边界问题。其改动模式(从"统一 strip"到"根据类型条件化 strip")值得学习。此外,review 中关于 `_is_string_type` 的讨论指出了进一步改进方向。
原始 PR · 作者 Terrencezzj · 合并时间 2026-05-09 12:46
添加 Cohere Eagle 推测解码模型并修复 Cohere MoE
建议精读 `cohere_eagle.py` 的 `__init__` 和 `forward`,理解 EAGLE 草稿模型的融合机制;同时关注 `select_norm_impl` 的动态归一化选择设计。该 PR 是 vLLM 集成新推测解码模型的标准范例,值得参考。
修复 AITER MoE 权重 shuffle 标记丢失
值得合并。修复逻辑清晰,与 Quark MoE 的既有做法一致(`quark_moe.py:1286-1287`),已在真实硬件上验证。建议如果后续有同类 `replace_parameter` 模式,可将其封装为通用工具函数。
使用dist-info注册修复XPU/ROCm上logitproc测试的spawn兼容性
本 PR 虽然只涉及测试代码,但采用的通过磁盘 dist-info 包模拟 entrypoint 注册的方案具有通用性,未来需要实现多进程环境下的 entrypoint 测试时可借鉴。同时,cross-platform 的 fork/spawn 策略设计清晰,值得测试架构开发者精读。
原始 PR · 作者 Harry-Chen · 合并时间 2026-05-09 12:08
添加 @Harry-Chen 为 CODEOWNERS
这是一个简单的运维变更,值得精读程度低。但可作为 CODEOWNERS 用法的参考:注意路径锚定和一致性。
参与讨论