修复 Qwen3.5 MTP 丢弃融合共享专家权重的问题
值得精读,该 PR 展示了如何处理共享专家融合带来的权重布局变化,以及如何保持与主模型逻辑的一致性。关注其对 `qwen3_5.py` 的镜像逻辑和未来可能需要的扩展。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 Qwen3.5 MTP 丢弃融合共享专家权重的问题
值得精读,该 PR 展示了如何处理共享专家融合带来的权重布局变化,以及如何保持与主模型逻辑的一致性。关注其对 `qwen3_5.py` 的镜像逻辑和未来可能需要的扩展。
修复 MoRI 下 Qwen MoE 路由错乱与精度归零
值得精读。核心看点:(1) 后端谓词必须与布局契约一一对应 — is_deepep() 只在纯 DeepEP 为真,MoRI 这类 DeepEP 类后端必须显式纳入,否则静默落入错误路径;(2) Duyi-Wang 对 CUDA Graph 与动态 token 数的辩驳展示了先验证假设、再改代码的归因方法,yichiche 用 eager/graph 对照 + 吞吐 + accept length 三组证据收缩 PR 范围,是很好的 review 实践样本;(3) 测试用全局 flags 模拟后端切换并 addCleanup 恢复的模式可复用。建议后续补一个真正跑 MoRI 运行时路径的 PR-CI 测试,避免回归。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-08-25 02:05
标记 Ling-3.0-flash DSPARK 在 H200 上四种量化验证通过。
值得快速浏览,了解 DSPARK 在 H200 上的验证状态与配置要点,特别是 MXFP4 的 `--moe-runner-backend flashinfer_mxfp4` 要求。可关注 PR #33561 的合并进度,确保文档中引用的 commit 仍然有效。
按 lm_head 精度拆分 Qwen3.8-27B 的 NVFP4 部署配置。
值得精读(尤其是 PR body):它示范了文档参数维护的方法论——用“更严格适配的变体可覆盖更宽松变体”的单调性论证来批量继承实测值,再对继承会低估的场景(RTX 5090 fp32)单独补测,既省工作量又不牺牲准确性。维护此类部署面板的工程师可以借鉴该模式;合入前建议全站搜索残留的 `nvfp4` 硬编码。
删除 schedule_batch.py 中重复的 mamba backup 辅助函数定义
该 PR 是低风险的代码清理,值得快速合入。无需精读,但可关注调度器中 mamba 相关的逻辑,了解备份机制。
新增 Inkling MXFP8 KV 的 PD 测试,修复 retraction 状态备份
值得精读。这是一个典型的"测试驱动发现缺陷并落地通用修复"的 PR:值得关注的点包括——如何通过有界设备池刻意制造 retraction 让测试有守卫价值;cpu_copy_carries_mamba 契约标志如何避免 KV pool 与调用方重复备份或双双漏备份;uses_ssm_state 统一判定如何防止 host_pool 后端误伤带 recurrent 状态的模型;以及单元测试用桩对象精确刻画两种备份场景的手法。
修复 decode retraction 的 recurrent state 静默丢失
值得精读。三个设计决策有借鉴价值:用类属性(`cpu_copy_carries_mamba`)声明式描述池能力,而非在调用方做 `isinstance` 特判;用共享谓词(`uses_ssm_state`)消除两处判定逻辑的分裂,避免"一个看 attention、一个看 recurrent state"的夹缝模型;用轻量 stub 类在纯 CPU 单测中完整覆盖备份/恢复双分支,验证成本极低。对排查同类"同一签名、不同实现"导致的静默错误有直接参考意义。
MiniMax H3 文本编码器支持 GGUF 检查点加载
值得精读。重点看三个设计决策:1. 如何在 `read_gguf_tensor_meta` 中通过 Comfy orig_shape 元数据做「打包 vs 加载期反量化」的二元判定;2. `GGUFConfig.retain_tensor_meta` 与模型类 `should_materialize_checkpoint_weight` 配合实现的延迟层过滤,避免加载未使用的语言层;3. `parameter_name_mapper` 与 `name_mapper` 拆分,保证 checkpoint 参数名映射不丢失信息。若你关注 diffusion 组件的加载扩展,这是很好的参考实现。
参与讨论