支持 DeepSeek V4 CP 与 MegaMoE 协同使用
- 值得精读,尤其是 `validate_deepseek_v4_mega_moe_token_budget` 函数的设计——它考虑了多种并行组合下 per-rank token 数的计算,为类似跨组件的参数校验提供了良好范本。 - 关注 `should_use_mega_moe` 中 CP 分支的修改,理解为什么 CP 下需要用 local token 数而非 global token 数来决策。 - 若用户环境默认 `moe_a2a_backend` 可能为 `None`,建议在文档中明确指出需显式设置。
参与讨论