标签列表
聚合结果
新增手动融合入口，将激活量化融合从编译器 Pass 迁移至模型代码显式调用。
此 PR 是 vLLM 量化优化架构演进的重要一步，引入了一个设计良好、可扩展的手动融合框架。虽然当前只应用于 Llama 模型，但其接口设计为扩展到其他模型和量化方案奠定了坚实基础。代码实现清晰，测试覆盖全面（包括单元测试和端到端测试）。主要风险在于可能引入的 CI 失败（如 IMA 问题）和性能的精确量化。建议： 1. **值得精读**：对于关注量化优化、编译器融合或模型性能的工程师，本 PR 的实现细节（尤其是融合映射机制和接口设计）非常有参考价值。 2. **重点关注**：需要仔细审查与 CI IMA 问题相关的具体原因，确保稳定性。同时，关注后续的 TP2 一致性测试和 A/B 性能对比结果。 3. **建议动作**：建议在解决 CI 问题后合并，并跟踪其在更大规模模型和硬件上的表现，为后续扩展到其他模型（如 Mixtral）提供数据支持。
修复 LlamaBidirectionalConfig 缺少 pooling 字段时的 AttributeError
值得花少量时间阅读，了解如何通过 `getattr` 提供友好错误信息。虽然变更简单，但体现了对用户错误信息质量的关注。注意后续若为双向 Llama 增加新 pooling 类型，需同步更新此校验。
合并多项池化测试启动，减少约 53 次 runner 启动
值得测试相关的工程师精读，特别是 `test_colpali.py` 的 `test_colpali_default_runner` 聚合模式、`test_colqwen3_5.py` 的 module fixture 模式，以及 `test_awq.py` 把参数化改为循环的手法。可作为 vLLM 测试套件中「减少 runner 启动」系列重构的参考实现。若需进一步优化，可考虑为共享 fixture 增加失败隔离（如按 fixture 分组标记）并保留异常消息断言。
修复 Llama70B TP4 基准静默跑成 TP1
值得快速浏览而非精读：它是一行配置修复，但对性能基准数据的可信度有直接影响，适合负责性能监控与 CI 基准的工程师关注。核心启示是 merge_serving_tests_stream 的 defaults 合并语义——缺省字段静默继承——是配置“看起来对、实际错”的温床；建议顺手审计同文件其他条目，并在 run-performance-benchmarks.sh 侧增加合并后字段完整性断言，把这类问题从“人工发现”变成“自动拦截”。
修复 EAGLE3 第一层 qkv_proj 前缀缺失层名问题
值得立即合并。这是一个精确的一行修复，完全解决了量化 EAGLE3 模型的加载失败问题，风险极低，且有实际模型验证（MiniMax-M3）。建议关注是否有其他类似的前缀路径不匹配问题存在于其他模块中。
修复 ROCm EAGLE 推断时断言失败
建议快速合入并 backport 到 ROCm 相关分支。此 PR 虽小，但体现了对硬件特定路径中控制流顺序的严谨思考，值得相关开发者了解。
原始 PR · 作者 DaoyuanLi2816 · 合并时间 2026-06-06 07:04
更新batch-invariance文档：添加Llama-3.2-3B并放宽GPU要求
简单的文档更新，已验证通过，可直接合并。对于关注batch-invariance的用户提供准确信息。
MRV2 支持 Llama 与 Mistral 密集模型
建议在合并后密切监控 Llama/Mistral 相关测试的稳定性，并优先处理 force_v1_runner 的环境变量覆盖问题。该 PR 值得精读，展示了 MRV2 激活的标准流程测试适配模式。