标签列表
聚合结果
原始 PR · 作者 cleonard530 · 合并时间 2026-06-04 00:29
迁移四组 CUDA 内核到 libtorch stable ABI
值得精读，特别是 stable ABI 适配的模式（如使用 STD_TORCH_CHECK、STABLE_TORCH_LIBRARY_FRAGMENT 和 TORCH_BOX 宏）。对于贡献者，了解这些模式有助于参与后续迁移步骤。设计上保留 ROCm 专用 QuickReduce 在 legacy 是一个透明决策，需关注后续迁移计划。
修复 TrtLLM MoE 路由方法分类及 dtype 检查
建议尽快合入，以修复 CI 失败和模型兼容性问题。该 PR 展现了精细的路由方法分类调整，可精读 `get_routing_method_type` 的决策树逻辑，了解不同模型的路由模式。
修复 DeepSeek-V4 初始化时 CUTLASS fmin 兼容错误
可快速合入的精确修复。无需额外精读，但可关注后续是否在依赖管理层面彻底解决（如添加 cu13 extra）。
修复 DeepSeek V4 非 Mega MoE 模型初始化崩溃
建议合入。该 PR 修复了明确的回归问题，改动量小且安全。代码结构上已将 `_init_fused_moe_experts` 与 `_init_mega_moe_experts` 对齐，避免了后续出现类似的属性缺失问题。
原始 PR · 作者 WoosukKwon · 合并时间 2026-06-03 08:54
内联 DeepseekV4MegaMoEExperts 的 _run_mega_moe 方法
该 PR 属于常规代码清理，逻辑简单，风险低，可以直接合并。对于关注 DeepSeek V4 模块实现的开发者，可以借此熟悉 MegaMoE 的核心计算流程。
为DeepSeek V4 Mega MoE添加EPLB负载均衡支持
建议在合并前修复PP模式下断言失败的问题。PR的设计(重用现有映射函数、明确环境变量覆盖条件)值得肯定。后续可增加针对PP模式和不同EPLB后端的测试。对于使用DeepSeek V4 Mega MoE的团队，此PR能显著提升大规模部署效率，推荐评估并合入。
原始 PR · 作者 WoosukKwon · 合并时间 2026-06-02 09:26
提取 DeepSeek-V4 RoPE 初始化逻辑为公共函数
该 PR 值得精读，因为它展示了如何通过提取公共函数消除跨平台代码重复。对于维护 DeepSeek-V4 模型的工程师，建议理解 `build_deepseek_v4_rope` 中封装的所有参数处理逻辑，以便未来修改时确保一致性。
原始 PR · 作者 WoosukKwon · 合并时间 2026-06-02 05:43
移除 DeepseekV4 中无用的包装类和数据结构
值得合并，因为它清除了无用的抽象层，降低了后续维护成本。虽然没有功能变化，但类似的清理有助于保持代码健康。对于阅读者，可以从中学习到如何通过消除不必要的包装来简化代码结构。