Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-06
缺陷修复 重要性 5.79 洞察度 5.00

修复 run_batch 下载媒体URL时不遵守代理环境变量

建议阅读 run_batch.py 中的 download_bytes_from_url 函数变更,了解 vLLM 如何通过全局 HTTP 连接统一管理代理配置、超时与重试。此 PR 展示了从零散 aiohttp 客户端到集中连接管理的小型重构思路,对理解 vLLM 网络层设计有参考价值。

缺陷修复 重要性 8.27 洞察度 5.00

图片 URL 错误时返回 HTTP 422 而非 500

值得精读。该 PR 展示了如何正确区分客户端错误与服务器错误,以及如何在 Review 中根据反馈调整设计(尤其是瞬态错误的保留)。错误包装函数 `_wrap_media_fetch_error` 的设计模式(基于异常类型和状态码分类)在自定义错误处理时很有参考价值。同时,测试策略的调整(移除内部 helper 的直接测试以降低维护摩擦)也体现了务实的测试理念。

缺陷修复 重要性 5.43 洞察度 3.00

修复 MOSS-Audio PP 下 deepstack_input_embeds 初始化缺失

值得合入,改动虽小但正确性关键,修复了 PP 下的崩溃。建议同步检查其他是否有其他类似初始化未分片的模型,可作为学习 PP 模式下 intermediate_tensors 分片处理的范例。

缺陷修复 重要性 7.28 洞察度 6.00

移除 weight_scale_inv 加载时转置,修复 DeepSeek 精度

该 PR 是典型的数据布局契约修复:检查点格式与 kernel 期望格式不匹配,且加载时转换方式错误。值得精读以理解 FP8 块级量化的布局约定及典型 bug 模式。建议未来增加单元测试验证 scale 布局的正确性,并确认 e8m0→float32 转换的移除对其他模型的影响。

参与讨论