新增 QianfanOCR 多模态模型支持
此 PR 适合作为多模态新模型集成的参考范例,特别是如何基于现有架构(InternVL)快速实现。Review 中关于 trust_remote_code 的设计权衡也值得学习。建议开发者关注其配置管理和测试组织方式。
A high-throughput and memory-efficient inference and serving engine for LLMs
新增 QianfanOCR 多模态模型支持
此 PR 适合作为多模态新模型集成的参考范例,特别是如何基于现有架构(InternVL)快速实现。Review 中关于 trust_remote_code 的设计权衡也值得学习。建议开发者关注其配置管理和测试组织方式。
新增 Triton JIT 编译监控,推理阶段检测延迟尖峰
建议阅读。该 PR 展示了如何利用 Triton 内部钩子实现运行时监控,并在设计决策中充分考虑了 API 兼容性、幂等性、用户偏好尊重等细节。对于需要维护 Triton 版本兼容性的项目有很好的参考价值。团队可以基于此监控进一步优化 warmup 覆盖,系统化减少推理时意外编译。
原始 PR · 作者 jikunshang · 合并时间 2026-05-05 18:05
XPU 采样内核集成,提升性能并减少重新编译
值得精读,尤其是 `forward_xpu` 的设计和 `mutates_args` 讨论。建议关注 `mutates_args` 缺失的潜在影响,未来可补充修复。
Mooncake KV 传输添加 stats 监控
推荐精读,特别是 MooncakeKVConnectorStats 的并发安全设计(锁 + pickle 处理)和 reduce/aggregate 模式,这些设计可以复用于其他 KV connector。注意 P/D 不对称统计的设计决策和 Prometheus 指标延期的 TODO,后续需跟踪补全。
Plamo2 权重加载迁移至 AutoWeightsLoader
该 PR 是 vLLM 权重加载标准化大图景中的一环,代码量中等但逻辑清晰。推荐开发者阅读,以理解 AutoWeightsLoader 的使用模式、从 `*ForCausalLM` 到 `*Model` 的迁移步骤,以及 `tie_word_embeddings`、旋转位置编码等特殊场景的处理方式。对于希望贡献类似迁移的贡献者,这是一个很好的参考范例。
原始 PR · 作者 Dao007forever · 合并时间 2026-05-05 16:00
新增多轮基准测试的 --trust-remote-code 标志
此 PR 改动简单直接,可作为基础设施类变更的示例。如需了解 vLLM 基准测试工具链,可精读该文件了解更多标志。
重构 CohereMoe 权重加载迁移至 AutoWeightsLoader
建议合并。该 PR 是基础设施标准化的重要一步,代码清晰,已通过本地 lint 和单元测试验证。值得关注的设计决策是将 quant_config 下沉到 backbone 中,以便 AutoWeightsLoader 统一处理 KV-scale。
原始 PR · 作者 lucianommartins · 合并时间 2026-05-05 12:34
修复 Gemma4 MoE 激活函数为 tanh 近似 GELU
该 PR 设计清晰、改动集中,已获得批准。建议团队在合入后验证 Gemma4 模型生成质量无明显波动,并确认 LoRA 相关测试通过。
参与讨论