#40923 [Kernel] Marlin MoE: include SM 12.x in default arch list
原始 PR · 作者 tonyliu312 · 合并时间 2026-05-28 15:30
修复 SM12x 上 Marlin MoE 输出乱码
该 PR 值得精读,特别是 CUDA 架构标志管理和版本兼容性的模式(家族标志 vs 显式架构,以及版本门控)是 vLLM 构建系统中常见的实践。对于使用 Blackwell 硬件的团队,此修复是关键,建议尽快合入。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 tonyliu312 · 合并时间 2026-05-28 15:30
修复 SM12x 上 Marlin MoE 输出乱码
该 PR 值得精读,特别是 CUDA 架构标志管理和版本兼容性的模式(家族标志 vs 显式架构,以及版本门控)是 vLLM 构建系统中常见的实践。对于使用 Blackwell 硬件的团队,此修复是关键,建议尽快合入。
原始 PR · 作者 vadiklyutiy · 合并时间 2026-05-28 15:09
修复多API Server启动硬编码超时
此 PR 为简单的 Bugfix,解决了实际部署中遇到的超时问题。推荐快速合并并 cherry-pick 到 v0.22.0,因为问题已影响用户。同时关注 njhill 提出的启动序列重构,以彻底避免此类问题。
二级存储类型名 fs_python 改为 fs
建议合并,但必须在发布说明中明确标注配置键变更。如有大量外部用户,可考虑在 `factory.py` 中添加对旧名称 `fs_python` 的兼容映射。
Tilelang MHC 替换 Torch/Triton 并支持 ROCm
**建议阅读范围**:所有涉及 DeepSeek V4 推理优化、ROCm 支持、TileLang kernel 集成的工程师。 **关注点**: - `_tilelang_ops.py` 中平台条件编译和 PDL 设计,为跨平台 kernel 提供参考。 - `mhc.py` 中 HAS_TILELANG 调度模式,体现优雅降级策略。 - Review 中关于 warp size 和 eager CUDA 初始化的讨论,了解跨平台 kernel 常见陷阱。 - 测试文件 `test_mhc_kernels.py` 覆盖了 tilelang 和 torch 双路径验证,值得作为类似 PR 的测试模板。
原始 PR · 作者 JINO-ROHIT · 合并时间 2026-05-28 13:58
修复 Mooncake 文档中的错误示例路径
该 PR 已合并,无需额外操作。对于文档维护者,可留意类似路径问题并鼓励社区反馈。
原始 PR · 作者 ignaciosica · 合并时间 2026-05-28 13:20
修复 streaming tool-call 序列化器丢弃第一个 args chunk 的 bug
值得阅读,展示了一个高质量的 bugfix 设计:通过引入 `split_delta` 函数将复合 delta 原子化,简化了状态机设计,同时通过分组按 index 保持 name 和 args 的关联。测试覆盖完善。可以学习这种将复杂问题分解的思路。
修复MRV2因自动创建reasoning_config而无法启动
值得精读,特别是将配置级验证改为请求级验证的设计决策,以及如何在两个版本间管理向后兼容性。review 讨论虽少但触及核心权衡。
原始 PR · 作者 gau-nernst · 合并时间 2026-05-28 12:29
修复 BF16 MoE 缺失 routed_scaling_factor 传递
此 PR 改动虽小但影响极大(正确性 bug),值得作为故障案例学习:在多层参数传递中,每个后端/调用点都需确保所有参数透传。相关开发者应检查其他 MoE 后端是否也存在类似遗漏。
参与讨论