Agent 驱动的多媒体¶
在 media access tab 中(通过图像或 mask 的上下文菜单)向 test case 添加 Agentic Multimedia test step 时,会显示此对话框。
该 test step 使用 ecu.test agent 根据提示词来规划、执行和评估一系列操作。对于固定坐标和固定顺序不可靠的复杂或动态交互,它尤其有用。
该对话框包含三个部分:
Reference
在此可以指定或更改所引用的 Mapping 项。Agent 使用该 Mapping 项读取当前图像并执行确定的动作。
Parameters
Prompt
用自然语言描述 test step 的目标。prompt 可以包含初始情况、期望的动作以及预期的最终状态。例如:“打开设置,启用 Wi-Fi,并验证 Wi-Fi 已启用。”
Agent 在测试执行期间解释提示词。它将待执行的动作与最终评估分开。执行过程中,它分析当前图像,并使用可用的动作导航到所描述的目标。最后一个动作完成后,由评估 Agent 检查是否已达到预期的最终状态。
最大模型请求数
该值限制用于解析、执行和评估提示词的模型请求数量。较长或较复杂的交互可能需要更高的值。默认值为 25。
每个操作后的等待时间(秒)
每个动作执行后,测试步骤都会等待指定的时间,然后再采集下一幅图像。这样可以让动画或延迟的状态变化在 Agent 看到动作结果之前完成。该等待时间同样适用于从缓存读取的动作。默认值为 0.2 秒。该值不得为负数。
缓存设置
Use cache
启用此选项后,test step 会查找此前成功执行的结果。仅当已评估的提示词、模型指令、等待时间以及 test step 位置等值均匹配时,才会使用缓存条目。
如果找到匹配的条目,则最初会“盲目”执行存储的操作。这意味着 Agent 不会根据中间图像重新规划每个操作。随后使用当前图像 检查是否已达成 prompt 中描述的目标。
如果不存在匹配的缓存条目,Agent 会重新解析提示词,并基于当前图像导航到目标。只有成功执行才会存入缓存。如果禁用该选项,则既不读取也不写入缓存条目。
可以在 multimedia settings 中删除所有多媒体缓存条目。
Self-healing
此选项仅在启用 Use cache 时可用。如果在执行已存储的动作后仍未达到目标,该 test step 会删除无效的缓存条目。随后 Agent 会重新解释提示词,并基于当前图像导航到目标。对于这种自修复运行,该 test step 不会写入新的缓存条目。
如果禁用自愈功能,缓存执行后的评估失败会直接导致 FAILED。
测试执行流程
简化而言,该 test step 执行以下步骤:
提示词会针对操作和最终评估进行解读。
如果存在匹配的缓存条目,则执行已存储的动作。否则,agent 会根据当前图像导航到目标。
执行这些操作后,Agent 会检查是否已达到提示词中描述的最终状态。
如果缓存执行失败且已启用自愈功能,则删除该缓存条目,并由 Agent 重新执行提示。
最后,Agent 会将到达的状态评估为 SUCCESS 或 FAILED。
所执行的操作会作为子 test step 添加到报告中。报告还包含评估摘要以及所用模型请求的信息。
更多信息