#6877 [Loader]add multi-thread model loading
作者 bukejiyu · 合并时间 2026-04-10 14:40
功能
重要性 6.00
洞察度 5.00
为safetensors权重加载添加可选多线程支持，提升NVME SSD设备下模型加载速度。
Loader
Optimization
Feature
建议精读此PR，关注多线程设计如何平衡性能与内存，以及配置从API Server到Worker的传递链路实现。需注意review中未解决的参数验证和异常处理问题，可作为后续改进点。