vllm-project/vllm · 作者 AndreasKaratzas · 合并时间 2026-03-22 17:32
根据PR body，动机是跟进#34839，减少最小接受准确度阈值，以便测试组在MI355上通过。具体失败链接为：https://buildkite.com/vllm/amd-ci/builds/6721/steps/canvas?sid=019d09d4-711d-4fbe-9f40-6ec17a28f286&tab=output，旨在稳定CI。
对于技术管理者，此PR无需精读，变更简单。但值得关注测试阈值的设置策略，以避免类似临时调整。工程师可快速浏览以了解CI稳定措施。
主要讨论点是PR标题的准确性。reviewer DarkLight1337指出标题误导，因为实际更改是降低阈值而非添加ROCM_EXTRA_ARGS。作者AndreasKaratzas回应称最初考虑添加参数，但看到评论认为波动是预期的，并计划未来重构测试。结论是更改被接受，但标题未更新。
实现非常简单，只修改了一个文件：'tests/entrypoints/openai/speech_to_text/test_translation_validation.py'。在test_streaming_response函数中，将断言阈值从 >= len(res_stream) * 0.9 改为 >= len(res_stream) * 0.87，降低了测试的准确度要求。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
tests/entrypoints/openai/speech_to_text/test_translation_validation.py |
测试 /entrypoints/openai/speech_to_text | modified | 5.0 |
分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。
DarkLight1337 指出标题误导，与实际更改不符。AndreasKaratzas 解释忘记更新标题，并提及未来重构计划。
结论：标题未更新，但更改被接受。 · 已解决
主要风险是测试阈值降低可能导致假阳性，掩盖真实问题，例如在'speech_to_text'功能中的潜在缺陷。具体在测试文件中，降低了准确度要求，可能使有缺陷的代码通过测试。此外，这种调整可能只是临时修复，未解决根本原因。
对用户无直接影响。对系统，CI测试更稳定，减少失败干扰。对团队，提高了CI可靠性，但需注意测试质量的潜在下降。长期来看，可能需要更健壮的测试设计。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
此PR降低了语音转文本翻译测试的准确度阈值，从0.9到0.87，以在ROCm CI的MI355硬件上稳定测试。这是一个临时修复，旨在减少CI失败，但可能掩盖潜在问题，建议关注测试质量。
tests/entrypoints/openai/speech_to_text/test_translation_validation.py。python
assert (
sum([x == y for x, y in zip(res_stream, res_no_stream.text.split())])
>= len(res_stream) * 0.87 # 从0.9降低到0.87
)@DarkLight1337 True, sorry, I forgot to do that, initially I thought of adding the rocm args, but then I saw the comment and thought that this flakiness is expected. Btw, I'll probably refactor this test, but I though of first stabilize the CI.
参与讨论