执行摘要

• 一句话：深合并嵌套配置覆盖，请求体改用 orjson 解析
• 推荐动作：值得快速精读：http_server.py 中通过 APIRoute 子类和 route_class 全局替换请求解析类的模式可以复用到其他 FastAPI 服务；config.py 的合并逻辑提示了 PretrainedConfig.update() 与 setattr 的语义差异。建议后续补充针对 orjson 严格行为和深层配置合并的单测。如果需要在推理服务中进一步压缩 JSON 解析开销，这个 PR 提供了清晰的样板。

功能与动机

PR body 说明当前 --json-model-override-args '{"text_config": {"num_hidden_layers": 5}}' 会把整个 text_config setattr 成普通 dict，导致其他字段丢失并破坏下游属性访问；同时大型多模态 chat 请求体（data-URL 图片可达数十 MB）在 FastAPI 依赖解析中由 stdlib json.loads 处理，速度慢。两个改动分别解决正确性和性能问题。

实现拆解

1. orjson 请求解析（python/sglang/srt/entrypoints/http_server.py）：新增 import orjson 与 from fastapi.routing import APIRoute；定义 ORJSONRequest(Request) 重写 json()，用 orjson.loads(await self.body()) 并缓存结果；定义 ORJSONRoute(APIRoute) 通过 get_route_handler() 返回包装请求的 custom_handler。随后把 app.router.route_class 设为 ORJSONRoute，并显式为 v1_loads_router 与 elastic_ep_router 设置 route_class，保证所有端点的解析路径一致。
2. 嵌套配置深合并（python/sglang/srt/utils/hf_transformers/config.py）：在 get_config 中把 config.update(model_override_args) 改为逐 key 处理：override 值为 dict 且目标属性是 PretrainedConfig 时走 current.update(value) 就地合并，否则保留旧的 setattr 路径。这修复了 VLM 场景下 text_config 被整体替换的问题。
3. 测试配套：PR 未新增专门测试文件，作者重跑 test_srt_endpoint.py、test_openai_server.py、test_vision_openai_server_a.py 均通过；但缺少针对 orjson 严格行为和深合并语义的专项单测，是本 PR 的测试留白。

关键文件：

• python/sglang/srt/entrypoints/http_server.py（模块 HTTP 服务；类别 source；类型 core-logic；符号 ORJSONRequest, ORJSONRoute, get_route_handler, custom_handler）: 所有 HTTP 端点的请求体解析路径从这里切换为 orjson，影响面最大；同时定义了可复用的 ORJSONRequest / ORJSONRoute 模式。
• python/sglang/srt/utils/hf_transformers/config.py（模块 配置解析；类别 source；类型 core-logic；符号 get_config）: 修复嵌套配置覆盖丢字段问题，是模型的 PretrainedConfig 加载路径中的行为变更。

关键符号：ORJSONRequest.json, ORJSONRoute.get_route_handler, get_config

关键源码片段

python/sglang/srt/entrypoints/http_server.py

所有 HTTP 端点的请求体解析路径从这里切换为 orjson，影响面最大；同时定义了可复用的 ORJSONRequest / ORJSONRoute 模式。

# python/sglang/srt/entrypoints/http_server.py
​
class ORJSONRequest(Request):
    """基于 orjson 的请求类，替代 FastAPI 依赖解析中默认的 stdlib json。
​
    多模态请求体（如 data-URL 图片）可达数十 MB，orjson 解析比
    stdlib json 快数倍。注意 orjson 更严格：裸 NaN / Infinity 和
    超过 64 位的整数会被拒绝，返回 400。
    """
​
    async def json(self) -> Any:
        # 只解析一次，结果缓存到 _json，避免同一请求重复读 body
        if not hasattr(self, "_json"):
            self._json = orjson.loads(await self.body())
        return self._json
​
​
class ORJSONRoute(APIRoute):
    def get_route_handler(self):
        original_handler = super().get_route_handler()
​
        async def custom_handler(request: Request):
            # 把原始请求包装为 ORJSONRequest，再交给原有处理链
            return await original_handler(ORJSONRequest(request.scope, request.receive))
​
        return custom_handler
​
​
# 全局替换路由类，并同步设置已 include 路由器
app.router.route_class = ORJSONRoute
v1_loads_router.route_class = ORJSONRoute
elastic_ep_router.route_class = ORJSONRoute

python/sglang/srt/utils/hf_transformers/config.py

修复嵌套配置覆盖丢字段问题，是模型的 PretrainedConfig 加载路径中的行为变更。

# python/sglang/srt/utils/hf_transformers/config.py
​
# get_config() 内部，model_override_args 来自 --json-model-override-args
if model_override_args:
    # 原来的 config.update() 会把 dict 值整体 setattr 到 config 上，
    # 例如 {"text_config": {...}} 会替换掉 VLM 的整个 text_config 子配置，
    # 丢失其余字段并破坏下游属性访问。这里改为逐 key 处理：
    for key, value in model_override_args.items():
        current = getattr(config, key, None)
        if isinstance(value, dict) and isinstance(current, PretrainedConfig):
            # 子配置存在且是 PretrainedConfig 时，就地合并，保留其余字段
            current.update(value)
        else:
            # 标量或普通 dict 仍走旧路径，直接 setattr 覆盖
            setattr(config, key, value)

评论区精华

该 PR 没有 code review 评论（review_comments_count = 0），唯一的流程性讨论是作者请求重跑三个测试文件并获得通过。PR body 中作者主动披露了两个设计取舍：orjson 比 stdlib 更严格，裸 NaN / Infinity 与超 64 位整数会从解析成功变为 400；route_class 是 per-router 的，所以被 include 的路由器需要单独设置，否则解析路径不统一。

• 暂无高价值评论线程

风险与影响

• 风险：
  • 行为兼容性：http_server.py 的全局 route_class 替换影响所有端点，orjson 的严格校验会让依赖宽松解析的客户端（发送 NaN / Infinity / 超 64 位整数）收到 400，属于可见行为变更。
  • 缓存逻辑：ORJSONRequest.json() 依赖 hasattr(self, "_json") 缓存，只对同一实例的重复 json() 调用生效；通常场景安全，但如果中间件在 json() 之前消费了 body，需要确认 FastAPI 的 body 缓存语义不会导致冲突。
  • 配置合并不彻底：config.py 的合并只做一层，若 override 的 dict 内部还有嵌套 dict 且目标不是 PretrainedConfig，仍会整体替换该属性，深层覆盖仍可能丢字段。
  • 测试留白：没有针对新行为（orjson 400 响应、text_config 合并保留字段）的单测，回归风险偏高。
  • 影响：对使用者来说，使用 --json-model-override-args 传嵌套配置（尤其 VLM 的 text_config）时行为得到修复；多模态大请求体（data-URL 图片）的解析延迟下降，可能改善 TTFT。对系统而言，所有 HTTP 端点的请求体解析路径统一切换为 orjson，性能提升的同时也带来更严格的 JSON 校验。对团队而言，本次引入 APIRoute 子类 + route_class 的模式可作为后续 FastAPI 服务优化 JSON 解析的样板，但新增 endpoint 时需注意同步设置 route_class，否则解析路径不一致。
  • 风险标记：全端点请求解析路径变更, orjson 严格模式拒绝 NaN/大整数, 缺少专项测试覆盖, 深层嵌套配置仍可能整体替换

关联脉络

• PR #33336 config: keep runtime hicache and weight-version updates off ServerArgs: 同样修改了 python/sglang/srt/entrypoints/http_server.py，同属服务端配置与请求处理的重构脉络，本 PR 的 orjson 路由改动落在同一入口文件。
• PR #33334 config: stop writing config onto the published ServerArgs at three sites: 同属配置系统收尾工作，涉及 server_args / 配置字段的读取与写入方式调整，与嵌套配置覆盖修复方向一致。