为 EC Connector 添加 shutdown 关闭接口
该 PR 改动量小,设计清晰,值得快速审核合并。对于 EC connector 实现者,建议阅读 ECConnectorBase.shutdown 和 ensure_ec_transfer_shutdown 的使用方式,并在子类中覆盖 shutdown 以处理异步操作排空。
A high-throughput and memory-efficient inference and serving engine for LLMs
为 EC Connector 添加 shutdown 关闭接口
该 PR 改动量小,设计清晰,值得快速审核合并。对于 EC connector 实现者,建议阅读 ECConnectorBase.shutdown 和 ensure_ec_transfer_shutdown 的使用方式,并在子类中覆盖 shutdown 以处理异步操作排空。
原始 PR · 作者 vadiklyutiy · 合并时间 2026-05-28 20:18
修复DP模式迭代索引不同步,增加dummy步日志
值得快速合并的小而精的修复。设计上对核心路径(`step()`)改动极少,将逻辑隔离在日志上下文管理器中,保持了代码整洁。建议后续考虑异常保护,确保索引递增在异常时也能执行。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-05-28 20:06
为 Anthropic API 添加结构化输出和 effort 参数支持
该 PR 可以精读以了解如何扩展 Anthropic API 入口,特别关注 `_handle_output_config` 的转换模式。设计决策方面,注意 `effort` 被放在 `output_config` 内而非顶层,与官方规范略有偏离,但保持了内部一致性。测试用例提供了良好的参考。
自动为 Rust 相关 PR 添加标签
这是一个简单的基础设施改进,值得合并。对于 CI 维护者,可后续监控标签准确率,必要时调整匹配条件。
修复上游删除远程代码导致的 HyperCLOVAX CI 失败
值得快速合并以解除 CI 阻塞。设计决策简单有效,无需深度审查。
修复 ROCm gfx950 上稀疏索引器精度问题
此 PR 值得关注,特别是 ROCm 开发和模型精度维护团队。代码改动简洁,但涉及 ROCm 稀疏索引器的核心逻辑,建议确保所有相关 kernel 配置匹配,并补充自动化测试。
重命名 weight_mapper 以对齐标准接口
建议合并。这是一个命名一致性修复,无逻辑变更,且测试通过。值得作为后续量化功能支持的基础补丁。
增加 DP Coordinator 启动超时至 120s
值得合入并部署。建议后续考虑将超时时间设置为可配置参数,以应对不同环境需求。
参与讨论