#23751 [3/N][Sync sglang-miles] TITO Support
原始 PR · 作者 zyzshishui · 合并时间 2026-06-04 09:45
新增 TITO 风格 chat:支持 pre-tokenized input_ids 和返回 prompt_token_ids
建议精读 `serving_chat.py` 中 `_convert_to_internal_request` 和 `_build_chat_response` 的实现,了解请求转换管线中字段优先级和错误处理的权衡。`protocol.py` 的自定义序列化方式也值得参考。对于部署运维,需注意 `skip_tokenizer_init` 场景的兼容性。
参与讨论