Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态：已开启 最近同步：2026-09-16 17:47 同步状态：空闲 下次计划：2026-09-16 18:47

PR 列表

最近 1 天 最近 3 天 最近 7 天
更多筛选
标签聚合 仓库周报
2026-06-04

#43827 [DSv4] Adding TRTLLM gen attention kernel

原始 PR · 作者 zyongye · 合并时间 2026-06-04 22:35

功能 重要性 9.18 洞察度 6.00

为 DSv4 添加 FlashInfer TRTLLM-gen 稀疏 MLA 后端

值得精读：该 PR 展示了一个复杂的注意力后端集成案例，包括后端注册、元数据缓存、单次 vs 分拆调用权衡、FP8 scale 处理。建议关注 `flashinfer_sparse.py` 的设计模式和 `attention.py` 中的 dtype 解析函数，可作为自定义后端的参考。

deepseekattentionfeature
缺陷修复 重要性 4.55 洞察度 3.00

为 ROCm GSM8K 测试添加可配置超时

该 PR 是典型的 CI 稳定性修复，代码改动简单，值得关注的设计决策是平台感知的配置回退机制（优先使用 `rocm_request_timeout_seconds`，否则使用 `request_timeout_seconds` 默认值），这种模式可复用。

rocmtestbugfix
测试 重要性 6.67 洞察度 4.00

用上下文管理器稳定ROCm Hybrid模型生成测试

该 PR 虽然只改动测试文件，但体现了良好的测试资源管理实践：使用上下文管理器确保资源释放，以及平台特定的等待策略。值得 CI 和测试维护者阅读，同样的模式可推广到其他类似的测试场景。

rocmtestci/build
基础设施 重要性 4.97 洞察度 4.00

fastsafetensors 升级至 v0.3.2，移除 ROCm git 构建

该 PR 属于基础设施清理，改动量小但意义明确，建议合并。但建议在合并前确认非 x86 平台（如 ARM）上 fastsafetensors v0.3.2 的兼容性，或保留 platform_machine 过滤。

rocmci/buildinfra
功能 重要性 6.55 洞察度 5.00

PD Nixl 连接器支持 Mamba 前缀缓存模式

值得精读，了解分布式前缀缓存在 Mamba 模型上的实现模式。但建议关注边缘情况的处理，考虑后续修复断言和切片逻辑。

v1kv-connectorfeature

#44534 Add GH token to docs build pre run check

原始 PR · 作者 hmellor · 合并时间 2026-06-04 20:43

基础设施 重要性 3.11 洞察度 2.00

为文档构建预检查添加 GH token 提升 API 速率限制

可直接合入，无需额外测试。推荐熟悉文档构建流程的人关注环境变量 `GITHUB_TOKEN` 的配置。

documentationinfraci/build

参与讨论