A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 yewentao256 · 合并时间 2026-03-26 17:08
移除三个未使用的工具函数及其测试，清理代码库。
建议技术管理者简要审阅此 PR，关注 review 中提到的 `wraps` 导入问题，确保已正确处理。对于工程师，此 PR 是简单的清理操作，无需深入精读，但可作为代码维护的参考案例。
修复配置文件docstring中的表格格式，提升文档渲染质量。
此PR为纯文档修复，无需精读；但可关注mkdocstrings的交叉引用机制和--help输出的处理方式，以理解文档工具链的工作细节。
原始 PR · 作者 jikunshang · 合并时间 2026-03-26 16:53
禁用 XPU graph 默认启用，添加环境变量控制。
PR 变更简单，值得快速 review，关注环境变量添加和默认行为更改，对 XPU 用户重要，建议确保文档更新以通知用户新配置。
原始 PR · 作者 DarkLight1337 · 合并时间 2026-03-26 16:52
修复文档中 EncoderCudaGraphManager 的引用路径，解决文档构建失败。
这是一个简单的文档修复，无需精读。建议团队在类似重构后及时更新文档引用，以避免构建中断。
原始 PR · 作者 DarkLight1337 · 合并时间 2026-03-26 16:44
为多模态处理器引入助手函数，避免在 token-only 输入时生成虚拟文本。
建议团队精读此 PR，重点关注 `call_hf_processor_mm_only` 的设计决策，以及各模型特定重写（如 pixtral.py 中的 batch 维度处理）的逻辑，以理解多模态输入处理的最佳实践和潜在风险。
原始 PR · 作者 vadiklyutiy · 合并时间 2026-03-26 16:21
修复 Qwen3.5 FP8 在 Blackwell 上 DeepGemm 精度下降
值得精读，尤其关注配置层 `use_deep_gemm` 的三态设计与自动禁用机制的权衡。review 中提出的覆盖失败和虚假日志问题需后续 PR 修复，可作为实践参考。
移除 Arm CI 的软失败标志并添加量化模型测试。
该 PR 值得快速浏览，以了解 CI 配置的变更和 Arm CPU 量化测试的添加。关注点在于测试覆盖的权衡决策，以及如何针对不同后端定制测试。
原始 PR · 作者 tianrengao · 合并时间 2026-03-26 14:52
为InternVL视觉编码器添加torch.compile支持，提升推理性能约4%。
建议工程师精读此PR，了解torch.compile在多模态模型中的集成模式，特别是动态批处理维度的处理和配置序列化的错误恢复机制。对于负责性能优化或多模态开发的团队成员，此PR展示了重要的设计决策和代码简化实践。
参与讨论