Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

cohere 相关 PR

2026-08-14
性能优化 重要性 6.62 洞察度 6.00

向量化 Cohere 二进制 embedding 位打包,约 4.3x 提速

值得精读。这是一个小而美的向量化重构范例:用 `np.packbits` 替换嵌套循环并保证字节级等价,同时通过边界测试把负零、denormal、非 2D 输入等语义钉死。值得关注的设计决策包括 float64 符号判定、空输入早退和显式维数校验。

2026-06-09

#44907 [Cohere] Cohere2 moe parser fix

原始 PR · 作者 Terrencezzj · 合并时间 2026-06-09 21:32

缺陷修复 重要性 6.44 洞察度 5.00

修复 Cohere2 tool parser 和 MoE 权重加载异常

推荐阅读,该 PR 展示了如何处理流式 tool call delta 中的占位符(null/空字符串)问题,设计模式(pending ID 缓存)值得其他 tool parser 参考。建议后续补充单元测试。

缺陷修复 重要性 7.07 洞察度 4.00

修复 Cohere2MoE 在 Transformers >=5.10 下的权重加载

值得精读并合入。变更逻辑清晰,影响范围小,修复了对上游库版本变化的关键依赖。建议后续补加单元测试,验证不同 `first_k_dense_replace` / `mlp_layer_types` 组合下的行为。