#22118 [Score API] Add SequenceClassification Model support
原始 PR · 作者 sundar24295s · 合并时间 2026-04-08 16:30
为评分API添加序列分类模型支持,扩展多项目评分功能。
建议工程师精读此PR,重点关注`score_and_pool`函数的实现,了解如何动态处理分隔符以支持多项目评分,以及review中的性能优化技巧(如避免GPU-CPU同步)。设计决策值得学习,特别是分类模型与生成模型的分发机制,以及MIS的高效打包策略。
参与讨论