执行摘要
此PR修复了NPU平台上Qwen3.5量化模型因模型更新导致的映射失效问题，通过重构量化逻辑和更新模型映射确保功能正常。变更主要涉及量化层和模型定义文件，包含设计讨论和未来重构指示，属于有意义的改进。
功能与动机
PR动机源于Issue #21676，其中报告在更新Qwen3.5模型后，量化不再工作。具体来说，模型更新将in_proj_qkv和in_proj_z融合为in_proj_qkvz，以及in_proj_b和in_proj_a融合为in_proj_ba，导致量化映射错误。PR body中提供了错误截图和修复后的精度测试结果（GSM8K测试），显示修复有效。
实现拆解
实现分为三个关键部分：
-
量化层重构（python/sglang/srt/layers/quantization/modelslim/modelslim.py）：
- 移除
should_ignore_layer调用，简化跳过逻辑。
- 重构
get_linear_scheme方法，统一参数命名为prefix，并修复量化方案映射。
- 代码示例：
python
linear_quant_schemes = [
("W4A4_DYNAMIC", ModelSlimW4A4Int4),
("W8A8", ModelSlimW8A8Int8),
("W8A8_DYNAMIC", ModelSlimW8A8Int8),
]
-
模型映射更新（python/sglang/srt/models/qwen3_5.py）：
- 扩展
packed_modules_mapping以包括NPU平台（添加_is_npu条件），确保映射正确应用。
- 变更示例：将
if _is_gfx95:改为if _is_gfx95 or _is_npu:。
-
加载器注释添加（python/sglang/srt/model_loader/loader.py）：
- 添加TODO注释，指示未来移除冗余映射代码，转向模型文件中声明的映射。
评论区精华
Review讨论聚焦于两个核心点：
- 参数命名统一：ping1jing2询问为何将
layer_name改为prefix，OrangeRedeng解释为统一命名以匹配get_moe_scheme，TamirBaydasov同意此更改，指出一直使用前缀。结论：更改被接受，提升代码一致性。
- 量化类型支持：gemini-code-assist[bot]建议添加
W8A8量化类型以维持向后兼容性，指出重构中丢弃了该支持。状态：建议中，PR已合并但未直接修复，需关注潜在问题。
风险与影响
- 技术风险：量化逻辑重构可能引入回归，尤其是移除
should_ignore_layer；未支持W8A8量化类型可能导致现有模型失效；代码映射逻辑分散，增加维护难度。
- 影响分析：修复后，NPU上Qwen3.5量化模型推理恢复正常，提升系统兼容性；团队需注意未来映射重构以避免类似bug，代码更一致但需测试覆盖。
关联脉络
从近期历史PR看，此PR与NPU和量化相关功能演进相连：
- PR #21502（NPU启用IndexCache）涉及NPU后端优化，可能共享模型映射逻辑。
- PR #21240（启用FP4量化）涉及量化支持，技术领域相关，可对比实现方案。
整体上，仓库正持续优化NPU和量化功能，此PR是其中一环，反映代码库向更模块化和一致化方向发展。
参与讨论