sgl-project/sglang

为 Apple Silicon/MLX 硬件后端添加 mlx 和 mlx-lm 依赖项。

该 PR 变更简单，适合快速浏览以了解 Apple Silicon 后端的依赖管理。值得关注的设计决策是最终选择不固定版本，这体现了对依赖灵活性的权衡；但可注意未添加平台环境标记可能带来的潜在问题。

添加 Gemma 4 模型支持，覆盖文本、视觉、音频等多模态功能与推理工具调用。

建议技术管理者和工程师精读此 PR，关注设计决策如混合 SWA 处理、多模态集成策略和性能优化技巧。特别推荐查看 gemma4_mm.py 中的多模态流程、triton_backend.py 中的混合缓冲区管理，以及 fused kernels 的优化思路，这些对类似模型集成有借鉴价值。

为 Ngram 推测解码添加外部 SAM 接受长度基准测试，验证性能提升。

对于关注 Ngram 推测解码性能的工程师，建议精读此 PR 以了解外部 SAM 的基准测试设计。值得关注的点包括测试分阶段设计、HTTP API 的使用以及 review 中提到的健壮性问题，这些有助于提升测试代码的质量。

修复 Grok 模型加载时因缺少预分片权重文件导致的 IndexError。

该 PR 变更简单直接，适合快速浏览以理解模型加载中的回退机制。对于深入理解 Grok 模型权重加载流程或预分片权重设计有参考价值。建议关注 _prepare_presharded_weights 函数的整体逻辑，以及回退条件如何与权重文件命名约定协同工作。

在 GenerateReqInput 和 EmbeddingReqInput 的 __getitem__ 方法中添加缓存，确保重复调用返回同一对象实例，防止同步问题。

建议精读 python/sglang/srt/managers/io_struct.py 的缓存实现，关注设计决策如何平衡对象创建开销与内存使用，以及 tokenizer_manager.py 中的属性传播机制。对于涉及请求处理、批处理或对象管理的开发人员，此 PR 提供了重要的对象身份稳定性范例，值得学习以避免类似同步问题。

在CI中添加diffusion模型输出一致性测试，防止精度回归。

该PR值得精读，特别是对于负责CI、测试和multimodal模块的工程师。关注点包括：一致性验证方法从SSIM切换到CLIP的决策理由（可能因CLIP更能捕捉语义相似性）、阈值配置的管理策略（如案例特异性调整）、以及LoRA权重加载的扩展设计（支持确定性文件选择）。这些设计决策反映了对模型输出质量保障的重视，可作为测试框架演进的参考。

为Ngram推测解码添加多SAM动态HTTP API支持，允许运行时管理外部语料库。

建议技术管理者和工程师精读此PR，重点关注： 1. 多SAM存储的设计决策，如何通过`std::unordered_map`管理语料库生命周期和并发限制（见FIXME）。 2. 异步加载模式，使用`ExternalCorpusManager`和后台线程实现非阻塞操作，避免影响调度器事件循环。 3. 预算分配逻辑在`batchMatch`中的实现，确保草案生成质量不受多SAM影响，注意整数除法可能导致的余数分配问题。 4. 向后兼容处理，保持启动参数`--speculative-ngram-external-corpus-path`工作，并将其整合到新API中。

移动哈希函数到 utils.py 打破 CUDA 导入链，使 CPU-only 测试可运行。

该 PR 值得精读，作为依赖管理和模块设计的最佳实践示例。关注点：如何分离纯逻辑与外部依赖，以及类型提示的潜在改进空间。