执行摘要
本PR集成了Runai Model Streamer，使SGLang能够直接从Amazon S3、Google Cloud Storage等对象存储加载大语言模型。通过权重流式传输和元数据缓存，显著减少了模型启动时间和本地磁盘占用。该功能支持分布式加载和并发流，优化了多GPU场景性能，是部署灵活性和性能的重要改进。
功能与动机
为解决从云存储加载模型时的延迟和存储问题，本PR引入了runai_streamer加载格式。PR body明确指出：“This integration adds support for the runai_streamer load format, enabling direct model loading from object storage and significantly improving loading performance from high-speed local storage and shared file systems.” 用户现在可以直接使用s3://或gs://路径启动服务器，无需预先下载完整模型权重，仅缓存约100MB的元数据文件。
实现拆解
实现涉及多个关键模块，以分层方式组织：
- 工具层：新增
python/sglang/srt/utils/runai_utils.py，提供核心函数：
is_runai_obj_uri: 检测对象存储URI（支持s3://、gs://、az://）。ObjectStorageModel: 管理元数据下载和本地缓存，使用哈希路径确保唯一性。list_safetensors: 列出对象存储中的safetensors文件。
- 加载器层：在
python/sglang/srt/model_loader/loader.py中添加RunaiModelStreamerLoader类，关键方法包括：
__init__: 解析额外配置（如distributed、concurrency）。_prepare_weights: 准备权重文件列表，支持fallback到Hugging Face下载。- 集成
runai_safetensors_weights_iterator: 并发流式加载权重，使用runai_model_streamer.SafetensorsStreamer。
- 配置层：修改
python/sglang/srt/server_args.py：
- 在
__post_init__中早期调用_maybe_download_model_for_runai，下载元数据并本地化路径。
- 在
_handle_load_format中自动检测对象存储URI，设置load_format为runai_streamer。
- 更新
python/sglang/srt/configs/load_config.py，添加LoadFormat.RUNAI_STREAMER枚举值。
- 文档与测试：新增
docs/advanced_features/object_storage.md，包含使用示例、配置参数和性能建议；添加test/registered/model_loading/test_runai_model_loader.py端到端测试，使用GCS桶验证生成功能，并辅以单元测试test/registered/unit/test_runai_utils.py。
评论区精华
Review讨论聚焦于几个关键交锋，反映了设计权衡：
- 代码重复风险：gemini-code-assist[bot]指出：“This logic for downloading model metadata from object storage is redundant. The same logic is already present in
ServerArgs.__post_init__... Please remove this block to avoid the redundant operation.” 这强调了性能优化点，需确保单次下载以避免启动延迟。
- Fallback逻辑争议：b8zhong询问：“Do we need this function? Since it's only for object storage format, I don't think so right?” noa-neria回应：“We thought to preserve the fallback to downloading from HF, as this is the standard.” 最终决定保留fallback，平衡了兼容性与简化设计。
- 文档纠偏：gemini-code-assist[bot]纠正文档错误：“The list of supported storage backends has a duplicated 'Amazon S3' entry and is missing 'Google Cloud Storage'...” 确保用户指南准确无误。
风险与影响
- 技术风险：
- 代码重复：
engine.py中的冗余下载可能未被完全移除，影响启动性能（提交历史显示多次调整，但需验证）。
- 依赖管理：新增可选依赖
runai-model-streamer[s3,gcs,azure]>=0.15.7，可能引入版本冲突或安全漏洞（如S3/GCS凭据处理）。
- 测试稳定性：端到端测试依赖外部GCS桶（
gs://vertex-model-garden-public-us/codegemma/codegemma-2b/），网络问题可能导致CI失败。
- 影响分析：
- 用户层面：支持直接从对象存储加载，减少本地存储需求（仅元数据缓存），加速模型部署，尤其适合云原生环境。
- 系统层面：新增加载路径可能提升多GPU场景下的吞吐量（通过分布式流式），但增加了代码复杂性和维护负担。
- 团队层面：需要更新CI流程（如修改
scripts/ci/cuda/ci_install_dependency.sh以包含runai额外依赖），并扩展文档覆盖。
关联脉络
本PR是SGLang模型加载体系的重要扩展，借鉴了vLLM的实现（PR body提及“Adapted from vLLM's implementation”）。在仓库近期历史PR中，PR #21576（集成FlashInfer MXFP8 GEMM）同样涉及模型加载优化，但专注于量化路径；而本PR引入了全新的对象存储加载能力，为云原生部署铺平道路。从提交历史看，经过30次commit迭代，包括修复文档、调整依赖、优化测试，显示了多人协作（noa-neria和hnyls2002）和持续改进的模式。
参与讨论