重构评分API为IOProcessor模式,统一跨编码器、双编码器和延迟交互架构的在线和离线处理逻辑。
该PR是理解vLLM池化任务架构演进(特别是向统一IOProcessor模式迁移)的绝佳案例,值得核心开发者精读。重点关注`ScoringIOProcessor`的设计如何封装不同评分算法的差异,以及`OfflineInputsContext`/`OfflineOutputsContext`如何统一在线和离线处理的接口。同时,应留意review中提到的关于异常处理策略和抽象层次选择的讨论,这对设计类似的模块有借鉴意义。
参与讨论