#45110 [BUGFIX][XPU] fix xpu `flash_attn_varlen_func` interface
原始 PR · 作者 jikunshang · 合并时间 2026-06-10 17:07
修复 XPU FlashAttention 接口参数缺失
此 PR 为一次性接口同步修复,变更清晰简单,无需精读。但对于维护 XPU 后端的工程师,建议后续关注 CUDA 端对该两参数的实现,并在 XPU kernel 中提供对应支持。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 jikunshang · 合并时间 2026-06-10 17:07
修复 XPU FlashAttention 接口参数缺失
此 PR 为一次性接口同步修复,变更清晰简单,无需精读。但对于维护 XPU 后端的工程师,建议后续关注 CUDA 端对该两参数的实现,并在 XPU kernel 中提供对应支持。
重命名 ROCm MoE 模块,明确 RDNA3 目标
本 PR 是一次安全的重命名操作,值得快速合并。它虽然没有功能改进,但提升了代码可维护性,并解决了潜在的命名隐患。对于关注 ROCm 量化路线图的工程师,建议留意后续可能新增的 `rocm_moe_rdna4.py` 等文件。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-06-10 16:56
延迟 AITER sampler 导入并隔离测试子进程 PYTHONPATH 修复 ROCm CI 崩溃
建议精读本 PR,尤其是延迟导入与 TileLang 副作用的权衡讨论。对于 ROCm 开发者,理解 `forward_hip` 中的延迟初始化模式可帮助避免类似库导入副作用。`tests/utils.py` 中的 PYTHONPATH 清理函数可作为处理环境隔离问题的参考模式。
回退 Gemma3 多模态编码器profile修复
该 PR 维护性质明显,无需精读。值得关注的是 #39425 的具体修复内容,以确认 Gemma3 多模态 profile 问题的正确解决方案。
原始 PR · 作者 EanWang211123 · 合并时间 2026-06-10 15:59
缩减推测解码中 TP 通信开销,通过本地 argmax 替代全词汇表收集
值得精读,特别是 `LocalArgmaxMixin` 的设计和通信复杂度分析。推荐模型开发者关注此模式,为新模型添加 `get_top_tokens` 支持时可直接继承 Mixin。
原始 PR · 作者 xiaohuguo2023 · 合并时间 2026-06-10 14:59
CDNA4 swizzle 只在 TP<=2 时启用
值得合入,设计干净。对于关注 ROCm 性能或 MoE 量化的工程师,建议精读 `should_use_cdna4_mx_scale_swizzle` 的集中式门控模式——这是一个处理硬件特性与并行度交叉限制的轻量但清晰的策略。
新增 BFCL 数据集,支持 vllm bench serve 工具调用性能评测
建议所有从事 tool-calling 相关开发或评测的工程师精读此 PR,重点了解 `BFCLDataset` 的 schema 翻译设计和请求覆盖机制。该设计为后续添加其他自定义基准数据集提供了可复用的模式。
统一 ColBERT 模型权重加载为 AutoWeightsLoader
该 PR 值得精读,展示了如何利用 AutoWeightsLoader 统一权重加载,代码量减少且逻辑清晰。建议关注 WeightsMapper 的设计和 skip_prefixes 的使用场景。
参与讨论