#44749 [Misc] Remove orphaned env vars and stale env-var references
原始 PR · 作者 DaoyuanLi2816 · 合并时间 2026-07-17 08:00
删除无效环境变量与文档引用
推荐直接合并。该 PR 是常规维护清理,无技术异议,已获 reviewer 批准。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 DaoyuanLi2816 · 合并时间 2026-07-17 08:00
删除无效环境变量与文档引用
推荐直接合并。该 PR 是常规维护清理,无技术异议,已获 reviewer 批准。
原始 PR · 作者 MatthewBonanni · 合并时间 2026-07-17 06:44
修复fp8_ds_mla dense prefill的越界和gather问题
建议精读`flashmla_sparse.py`中metadata重构和`mla_attention.py`中prefill路径切换的设计,理解如何将decode-only metadata与dense prefill解耦。对有FP8 sparse attention需求的团队,此PR提供了可参考的修复模式。
原始 PR · 作者 yewentao256 · 合并时间 2026-07-17 06:41
将 `clamp` 替换为 `clamp_` 以减少 GPU 内存分配
建议优先验证 `sparse_mla.py` 中 `clamp_` 的安全性,确认 `block_table_tensor` 是否被其他路径共享。如果风险不可接受,应回退为 `.clamp()`。其他文件的变更相对安全,可以保留。此 PR 不宜直接适用于要求高度稳定性的场景。
新增ROCm AITER QK Norm+RoPE+KV Cache融合pass
值得精读,特别是对 ROCm 平台推理优化和 TorchInductor pattern matcher 感兴趣的开发者。该 PR 展示了如何安全地将多次 kernel launch 融合为单个自定义 op,并处理了不同 attention 后端的布局差异。
原始 PR · 作者 yuvalluria · 合并时间 2026-07-17 06:05
将 Phi-3.5-mini-instruct 加入批量不变性测试模型列表
该 PR 为简单的文档更新,不值得深入阅读,但可视为批量不变性特性持续推进的一部分。
为 Gemma4-12B 添加 DSpark 推测解码支持,基于 DFlash/Qwen 栈薄层复用实现。
值得精读。该 PR 是 vLLM 中“薄子类复用”模式的典型案例:将架构差异隔离在小职责类中,最大化复用现有推测解码栈。设计文档清晰,性能数据翔实。建议关注 `Gemma4DSparkAttention._kv_proj` 的 `k_eq_v` 共享投影实现、`Gemma4DSparkModel._build_fused_kv_buffers` 的融合 KV 预计算机制,以及 config 自动检测中 Gemma4 分支的处理。
新增 nvfp4_per_token 在线 MoE 量化方案
该 PR 值得精读,因为它展示了如何将一个新的硬件特定量化方案集成到 vLLM 的在线量化框架中,包括配置注册、方法分派、权重处理与内核对接。设计清晰,可作为未来扩展的参考。关注其后续的准确性基准和性能优化。
修复 Humming WNA4Int/WNA8Int 激活量化调度 bug
值得精读。虽然改动量小,但揭示了 Humming 量化路径中 schema 分发设计的隐蔽 bug,对理解量化配置的工厂方法与继承路由有参考价值。建议在后续 PR 中补充 vllm 内的单元测试,覆盖 `BaseInputSchema.from_config` 的分发逻辑。
参与讨论