修复 XPU FP8 weight_scale 张量形状
建议精读以了解 XPU FP8 后端的参数处理细节。应关注 review 中关于条件不一致的问题,并考虑在后续 PR 中修复:将 weight_scale 的转置放入与 weight 相同的 if 块中,确保两者布局始终同步。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 XPU FP8 weight_scale 张量形状
建议精读以了解 XPU FP8 后端的参数处理细节。应关注 review 中关于条件不一致的问题,并考虑在后续 PR 中修复:将 weight_scale 的转置放入与 weight 相同的 if 块中,确保两者布局始终同步。
原始 PR · 作者 zhenwei-intel · 合并时间 2026-05-17 12:15
XPU Worker 新增 V2 Model Runner 日志
值得合并。变更简洁、无风险,为 XPU 后端调试提供便利。可作为 V2 Model Runner 迁移状态的一个轻量级 markers。
Mamba SSM 缓存支持 bf16
该 PR 简单明确,建议合并。后续可考虑补充单元测试验证 `bfloat16` 选项在 Mamba 缓存中的实际可用性。
原始 PR · 作者 weizhoublue · 合并时间 2026-05-17 08:54
修复 Qwen3.5-MTP 与 Qwen3-VL MoE 权重加载中参数丢失
这是一个明确且低风险的 bugfix,值得合并。代码虽少,但体现了对数据契约一致性的重视。建议在类似模型(如其他 MoE 模型)中检查是否有相同的调用模式,统一修复以避免遗留。
升级 FlashInfer 至 v0.6.11.post2
该 PR 值得合并,但建议在合并后密切关注 MoE 相关模型(如 DeepSeek-V2/V4)的推理质量和性能基准。另外,建议统一 FlashInfer 版本管理策略,避免多个分支维护不同版本。
MooncakeStoreConnector 支持磁盘卸载与双模式拓扑
值得精读,特别是磁盘卸载预算拆分策略和双模式配置校验,为后续其他 connector 提供参考。PR 讨论揭示了命名、IPC 隔离等工程权衡,值得学习。
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-05-17 02:58
为池化器激活函数添加单元测试
建议精读测试文件和 fixture 设计,尤其学习如何使用 set_current_vllm_config 模拟全局配置进行单元测试。该 PR 还揭示了 PoolerClassify 依赖全局状态的设计隐患,值得关注后续重构。对于刚接触 vLLM 测试框架的开发者是很好的学习样例。
原始 PR · 作者 weizhoublue · 合并时间 2026-05-17 01:02
修复 Ultravox 模型 revision 未传递至次级权重加载
值得合并,修复了一个版本一致性问题,逻辑简单且明确。可快速审阅。
参与讨论