修复DFlash全连接层输入尺寸错误
建议团队成员精读,特别是关注如何通过共享工具函数 `get_eagle3_aux_layers_from_config` 来消除重复逻辑、统一解析策略。该 PR 展示了从特定 bugfix 到基础设施改进的良好模式。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复DFlash全连接层输入尺寸错误
建议团队成员精读,特别是关注如何通过共享工具函数 `get_eagle3_aux_layers_from_config` 来消除重复逻辑、统一解析策略。该 PR 展示了从特定 bugfix 到基础设施改进的良好模式。
为 GemmaMTP 添加 GSM8K 评测配置
可直接合并。对于关注 speculative decoding 或 Gemma 模型的开发者,值得了解此配置作为参考。
原始 PR · 作者 lengrongfu · 合并时间 2026-07-22 04:42
升级 cutlass DSL 依赖修复 Minimax M3 错误
此 PR 是紧急修复,变更简单且经过 force-merge,建议尽快合入和发布。
修复分布式测试中 Python 3.14 兼容和 shutdown 变量错误
本 PR 属于低风险的必要 bug 修复,建议合并。未来可关注 `get_response_mqs` 是否被更广泛使用,并考虑扩展 CI 测试范围以覆盖更多用例。
修复未启用 CI 的 cudagraph 单元测试并接入 CI
建议合并。这是一个典型的 CI 与测试修复 PR,修复了测试遗漏和代码缺陷,提升了测试覆盖和 CI 可靠性。
降低 embedding 测试的 max_model_len 修复 OOM
可以直接合并。这是一个简单且安全的测试修复,通过调整测试配置避免 CI 硬件限制导致的失败。
修复 Transformers 后端 Qwen3-VL M-RoPE 的两个 bug
值得阅读。虽然改动量小,但揭示了 torch.compile 模式下一个容易被忽略的步幅陷阱,并提供了清晰的解决方案。
原始 PR · 作者 evantakahashi · 合并时间 2026-07-22 01:53
修复 Embedding 宽度检查误伤 MTP Draft
该 PR 修复了一个影响 Gemma4 MTP 的关键 bug,设计简洁(通过 `has_own_embed_tokens` 属性区分 EAGLE/MTP),且已有多人验证。建议尽快合入以便下游用户使用。
参与讨论