标签列表
聚合结果
为自定义 MoE runner 后端增加注册与标准 dispatch 扩展点
值得精读。设计亮点有三：一是谓词 mixin + 注册解析器的组合，让扩展后端与内置后端在类型系统上对齐，调用方无需分支处理；二是 `DispatchMoeRunnerCore` 抽象把"直接消费 dispatch 输出"的 runner 正式契约化，取代脆弱的 `hasattr` 检查；三是 `get_moe_quant_info` 为 LoRA 提供后端无关的量化信息通道。建议结合提交序列阅读——合并前的 5 个修复提交本身就是"真实环境校验"的典型案例（CI 收集失败、AST 基类解析、非 Triton 输入崩溃）。适合需要为 SGLang 接入自研 MoE kernel 或私有量化后端的团队参考。
移除 ServerArgs 转发槽位，调度器直连钩子函数
值得精读，尤其是导入放置和 AST 测试设计。作者对重构的边界处理非常细致：区分真正入口与转发产物，按实际签名映射参数，并用源码级 AST 测试钉死延迟导入约束。对于大型类逐步外移逻辑的重构，这是一个很好的参考模板。
解析管线迁出 ServerArgs，巨型类拆分至 arg_groups 钩子模块
值得精读。这是处理巨型配置类的教科书式重构：声明式解析（`declare_resolution`）、槽位保留签名、测试守卫跟随迁移、快照式行为等价验证（62 启动形状 × 478 字段 provenance）都是可复用的方法论。重点阅读 `model_hook.py` 与 `cuda_graph_hook.py` 的写法，以及 PR body 中两条"the hard way 学到的规则"。同时留意 codex P2 评论暴露的测试可达性盲区，后续系列 PR 需要补上对 `server_args._…` 调用的追踪。
修复 MoE LoRA align 内核在 ROCm 上的编译失败
建议精读的重点： - 学习如何在 JIT 内核中做平台适配，尤其是 hipify 缺失时的处理方法。 - 理解依赖闭包与缓存失效的关系，避免滥用公共头文件。 - 参考测试注册模式，为平台相关内核补充对应 CI。
删除未读 server_args 参数，权重加载工厂改名改读 published config
值得精读，尤其是关注配置架构演进与大规模机械重构方法的读者。要点：①判断「未读参数即负债」的标准（函数体内是否已全部改读 published config）；②工厂命名按实际读取来源而非字面参数（from_published_config）；③ratchet 测试对「重新引入 record」的约束作用。若只关心功能行为，本 PR 无用户可见变化，可跳过。
原始 PR · 作者 qinsir5522 · 合并时间 2026-08-25 14:09
修复 NPU 上 LoRA 嵌入越界 token 崩溃
值得阅读，尤其是对 LoRA 后端实现和 NPU 算子适配感兴趣的工程师；全向量化 3D 高级索引替代逐段循环的思路可复用到其它后端。建议补充单元测试（包含越界 token、空权重、rank 掩码边界），并清理未使用的 num_loras 变量。
原生加载剪枝 MiniMax H3 检查点，LoRA 层新增常量偏移机制
值得精读。1) `MiniMaxH3DiTModel.prepare_lora_adapter` 展示了如何在不改变运行时的情况下，通过仿射基投影兼容剪枝权重与外部 LoRA，数学变换与错误防御（宽度统一校验、零基拒绝）都值得借鉴。2) LoRA 层的 `lora_output_offset` 是通用扩展，merge / FSDP / commit-as-base 三种边界条件的处理可作为工程样板。3) 建议结合 `test_lora_commit_as_base.py` 的用例理解动态与合并模式的偏移缩放语义。
新增 LoRA 合并权重文件缓存，峰值主机内存降 75%
值得精读。重点看三处设计：①用文件后备存储把合并结果放进 page cache 的思路（对任何大权重 merge 场景有普遍借鉴意义）；②通过 `install_merged_weight` 把状态转换收归 layer 所有，避免查询带副作用；③零拷贝 view 与原地 merge 的语义边界划分（`_ensure_base_snapshot_owned`）。建议同时关注缓存 key 的哈希范围和并发写入保护是否足够。