#47478 [ROCm][CI] Adding Rust parity
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-07 06:05
ROCm 平台 CI 增加 Rust 前端测试覆盖
该 PR 展示了如何为异构平台(ROCm)扩展 CI 覆盖,值得 CI 基础设施团队和有跨平台需求的开发者阅读。脚本中的根目录回退技巧也值得借鉴。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-07 06:05
ROCm 平台 CI 增加 Rust 前端测试覆盖
该 PR 展示了如何为异构平台(ROCm)扩展 CI 覆盖,值得 CI 基础设施团队和有跨平台需求的开发者阅读。脚本中的根目录回退技巧也值得借鉴。
原始 PR · 作者 simondanielsson · 合并时间 2026-07-07 05:30
修复DPA+FP8 KV下MLA后端内存访问错误
值得仔细阅读PR描述的技术细节,理解AITER内核如何根据Q/KV dtype选择tile大小,以及为什么TP8会掩藏该bug。修复本身非常简洁,但蕴含了对底层内核协议的理解,是良好的一行修复范例。
修复 DP+MTP 模式下因 drafter 不同步导致的 hang
值得精读。该 PR 展示了多 rank 环境下因条件分歧导致集合通信 hang 的典型场景及修复思路。review 中的设计权衡讨论(dummy_run vs 直接运行 drafter)具有启发意义,体现了对 drafter 合约边界的审慎处理。
原始 PR · 作者 jinzhen-lin · 合并时间 2026-07-07 04:36
为所有 Dense/MoE 量化 oracle 添加 Humming 后端
此 PR 值得精读,特别是其 oracle 模式和权重转换架构。对于量化后端开发者和性能优化者,了解 Humming 后端的集成方式有助于未来添加更多后端。建议关注后续关于 Humming 性能基准的 PR 以及可能的默认启用决策。
原始 PR · 作者 ACEEE-1222 · 合并时间 2026-07-07 03:56
修复 DeepSeek-V4 fp8_ds_mla KV cache 形状错误
此 PR 值得所有使用 DeepSeek-V4 系列模型(特别是 DSpark 和 fp8)的团队精读。核心改动展示了如何通过 layer 本地配置覆盖全局配置来解决缓存形状不匹配问题,设计思路清晰,修改量小但影响关键。建议关注 `gpu_model_runner.py` 中的 `getattr` fallback 模式,未来作为类似问题的标准处理方式。
修复 main 上 flashinfer 分布式超时和测试 device 类型错误
已合并,无需进一步操作。对于开发团队,此 PR 展示了如何快速修复 main 分支上的阻塞问题,值得在类似场景参考。
为 B12x 后端增加 ReLU2 非门控 MoE 支持
本 PR 展示了如何扩展现有 MoE kernel 以支持新的激活函数,并采用 Wrapper API 统一集成。值得关注的设计决策包括:使用 `_ACTIVATION_MAP` 映射激活类型、延迟创建 Wrapper、在 `process_weights_after_loading` 中提前计算 MMA 布局。建议阅读 `flashinfer_b12x_moe.py` 中的 `_ensure_wrapper` 和 `apply` 方法。
原始 PR · 作者 NathanielMcVicar · 合并时间 2026-07-07 03:39
修复 DiffusionGemma 稳定性窗口偏移,匹配 HF 语义
该 PR 值得快速合并。它是一个明确的 bug 修复,有清晰的动机和来自核心贡献者的确认。虽然改动小,但涉及对 HF 行为对齐的深入理解,值得关注其分析过程。建议精读评论区的讨论以理解 vLLM 与 HF 在状态管理上的差异。
参与讨论