#34789 [Bugfix] Offload blocking tokenizer ops to shared thread pool to unblock event loop
作者 scyyh11 · 合并时间 2026-03-27 13:17
通过将阻塞的多模态预处理和聊天模板渲染卸载到共享线程池,修复事件循环阻塞问题,提升API端点响应性。
该PR值得技术管理者和工程师精读,尤其关注其如何优雅地处理异步编程中的阻塞操作。设计决策如共享线程池的使用、tokenizer线程安全方案(基于深拷贝)以及性能基准测试方法,为类似场景提供了实用参考。建议结合PR #36557理解线程安全背景,并关注后续可能的进程池优化。
参与讨论