修复云存储URI在HF_HUB_OFFLINE=1时导致的HFValidationError
值得阅读。该PR展示了如何优雅地隔离外部存储URI与HF Hub的交互,代码改动简洁,注释清晰,可作为处理类似hybrid路径解析的参考。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复云存储URI在HF_HUB_OFFLINE=1时导致的HFValidationError
值得阅读。该PR展示了如何优雅地隔离外部存储URI与HF Hub的交互,代码改动简洁,注释清晰,可作为处理类似hybrid路径解析的参考。
升级 cutedsl 依赖到 4.5.2
可快速合并。建议在后续 CI 中关注 FA4 相关测试是否通过。
修复 Gemma4 Responses API 思考未启用
值得合并。设计简洁,尊重用户显式设置,且通过 `resolve_chat_template_kwargs` 天然过滤不兼容模型的 kwarg,安全无侵入。文档同步更新清晰。
原始 PR · 作者 lucianommartins · 合并时间 2026-05-27 18:36
Triton W4A16 内核支持 CUDA fallback
值得合并,变更简洁且目的明确。建议在后续 PR 中添加性能日志或文档说明,帮助用户了解 fallback 内核的使用情况。同时可考虑为 TritonW4A16LinearKernel 添加更细粒度的性能基准测试。
修正 MLA prefill 后端默认选择文档
建议审阅者确认文档预览内容正确后直接合并。这是一次纯粹的文档修正,没有逻辑和行为变更。
统一流式/非流式路径的工具解析器回退行为
值得精读,尤其是 `parse_into` 与 `reset` 的设计,以及错误处理中保留部分输出的模式。建议关注 `easy-ext` 依赖的最终处理方式,以及是否所有解析器都正确实现了 `reset`。
原始 PR · 作者 adityasingh2400 · 合并时间 2026-05-27 16:41
在快速入门指南中新增 Ascend NPU 安装指引
建议合并。这是一项小而清晰的文档改进,遵循了既有的选项卡风格,且已通过审查和预览验证。合并后可关闭关联 Issue #43549。
避免 ROCm 编译时重复 bf16 转换
该 PR 改动小巧、聚焦,验证充分(性能、精度、FX dump),建议合并。值得注意的设计决策:通过额外 buffer 而非修改全局 dtype 来避免精度影响,以及将条件守卫精确限定在编译时快路径。
参与讨论