回退 DeepGEMM 多 Python 版本兼容构建
该 PR 是一个简单的回退,不值得精读。但可关注后续是否有更好的跨 Python 版本兼容方案。
A high-throughput and memory-efficient inference and serving engine for LLMs
回退 DeepGEMM 多 Python 版本兼容构建
该 PR 是一个简单的回退,不值得精读。但可关注后续是否有更好的跨 Python 版本兼容方案。
切换 CUDA 13.0 wheel 构建至 manylinux_2_28 基础镜像以兼容旧系统
值得精读。Dockerfile 中基于 BUILD_OS 的条件分支模式清晰展示了如何在同一构建流程中支持不同 OS 家族,可作为后续迁移其他 CUDA 版本的参考。同时建议跟进 jikunshang 关于稳定镜像标签的提议以增强构建可复现性。
约束 Gemma 4 软 token 估计值不超过 max_soft_tokens
建议阅读,了解多模态 token 计数一致性的重要性和最小修复策略。clamp 虽简单但正确,避免过度工程。
原始 PR · 作者 mcsantiago · 合并时间 2026-05-02 14:22
Step3Text 权重加载改用 AutoWeightsLoader
建议合并。该 PR 是 #15697 标准化工作的一部分,结构清晰,作者已验证编译和导入。CI 通过后即可合并。阅读者可关注 AutoWeightsLoader 在 PP 下的行为以及该模式如何简化模型加载代码。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-05-02 13:27
新增 Codex 集成使用文档
该 PR 是纯文档新增,内容结构清晰,但示例命令中存在遗留问题(模型名、参数)需要 fix。建议在后续 PR 中更新模型名为实际存在的版本,并补全 `--served-model-name` 等必要参数,同时修复 Codex 链接。值得参考其清晰的文档结构和配置说明。
原始 PR · 作者 rbrugaro-amd · 合并时间 2026-05-02 12:13
修复 ROCm 门控偏置类型转换回退逻辑
建议精读此 PR 以理解跨 PR 的依赖关系和回归的典型模式。同时建议考虑为 `gate.out_dtype` 为 None 的场景增加单元测试,防止未来重构再次踩坑。
原始 PR · 作者 ProExpertProg · 合并时间 2026-05-02 11:41
为vLLM IR引入maybe_inplace重载并移植fused_add_rms_norm
值得精读,尤其关注 `maybe_inplace` 的设计模式、函数化处理方案以及在多平台间保持语义一致性的做法。对编译器开发者有重要参考价值。
原始 PR · 作者 ekagra-ranjan · 合并时间 2026-05-02 11:19
限制转录测试并发数防止 OOM
值得合入,修复 CI 稳定性。也可考虑从环境变量或配置文件中读取该值以提升灵活性。
参与讨论