Integrated Adapter(集成适配器)¶
配置¶
首次使用前,需要先配置测试管理系统接口。 可通过 打开设置页面。
在此可以选择要使用的测试管理系统,并调整相关配置设置。 此外,此处还会显示当前 Java 版本。
通用设置¶
这些设置与所配置的测试管理系统无关。
- Used Certificate Trust Store
用于校验受信任证书。可以使用用户专属或系统级 Windows 密钥库,也可以使用 Java Runtime Environment 自带的密钥库。
- Import order of test cases
定义导入 Project(测试项目)时,test suite 中 test case 的导入顺序。
- Update attribute definitions on login
决定每次登录测试管理系统时,是否同步 Package 和 Project 属性定义。启用后,会更新 Workspace(工作区)文件
pkgattr.spec和prjattr.spec。另请参见 Working with attributes(属性操作)。
- Ignore attributes when exporting changes
勾选后,“Export Changes” 操作不会导出 ecu.test 的属性。
- Mark blocks as user instruction
允许在交互模式执行时,将在导入 Package 时生成的 block test step 解释为用户指令。
- Report export settings
定义报告导出的默认配置。这些设置也可以针对每次导出单独指定(Exporting test reports into the test management system(导出测试报告到测试管理系统))。
- Proxy settings
用于配置代理连接。
- Low memory definition query.
按顺序查询属性定义。这样耗时更长,但占用内存更少。
调试设置¶
- Port which is used preferentially
优先尝试使用这里指定的端口。如果不可用,则改用动态端口范围(49152 到 65535)。
- Write debug information to log.
将附加调试信息写入日志文件。会降低与相应测试管理系统交互的速度。
- Enable heap dump
当 Java 进程崩溃时生成 heap dump。
- Maximum size of the heap (in MB)
设置 Java 进程内存占用的上限。
系统特定设置¶
这些设置取决于所选测试管理系统,并会随选择不同而变化。例如,通常需要在此定义测试管理系统主机的访问 URL。
此外,还应在 “Result mapping” 对话框中定义 ecu.test 结果到可用结果的系统专属映射关系。
信息
对于每个受支持的测试管理系统,ecu.test 都为所有常见结果提供了默认映射。
使用测试管理系统特定结果¶
导出报告 to test management 时,ecu.test 结果会按照已定义映射进行转换。如果一个 ecu.test 结果被映射到多个测试管理结果,则优先使用最上面的那个结果。
此外,在 reevaluating a test report(重新评估测试报告) 时,也可以显式选择测试管理结果。导出报告时,此分配会覆盖默认结果映射。
信息
同一个测试管理结果可以同时映射到多个 ecu.test 结果,例如 “Cancelled HW = ERROR” 和 “Cancelled HW = INCONCLUSIVE”。如果如此,在重新评估测试报告时,Evaluations 列表中只会提供该测试管理结果所分配到的最差 ecu.test 结果。以 ERROR < FAILED < INCONCLUSIVE < NONE < SUCCESS 为例,其中 < 表示“比……更差”,则只能选择 Cancelled HW (ERROR) 进行重新评估。
自定义测试管理连接¶
如果前述章节中的设置仍不满足需求,可以通过用户自定义脚本(hook)来自定义测试管理连接本身。您可以不用默认实现,而是使用自己的 hook 来更改行为。
建议参考位于 <ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks 的默认实现。hook 的自定义版本必须存放在 Workspace(工作区)中的 UserPyModules 下,这样 ecu.test 才能识别(必要时按 Ctrl+Shift+R)并执行它们。也可以存放多个行为不同的 hook,ecu.test 会按顺序执行。
需要实现的接口在
<ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks/api 下描述。
以下功能的行为可以自定义:
- TestSuite-Import
Interface
<ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks/api/interface/TestSuiteImportHook.py
- TestScript-Import
Interface
<ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks/api/interface/TestScriptImportHook.py
- TestScript-Export
Interface
<ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks/api/interface/TestScriptExportHook.py
- TestScript-Attributes-Export
Interface
<ecu.test-installation directory>/Templates/DefaultData/UserPyModules/AlmHooks/api/interface/TestScriptAttributesExportHook.py
属性操作¶
在 ecu.test 中,Package 和 Project 可以附加属性。 许多测试管理系统同样允许为 test script 和 test suite 附加属性。 ecu.test 可以接收测试管理系统中的属性定义。 为此,请在 Workspace 资源管理器中任意文件夹的快捷菜单中单击 。
该过程完成后,所有 Package 和 Project 都可以为相应测试管理系统支持的属性设置值。 如果某个属性提供预定义值列表,这些可选值也会在 ecu.test 中提供。 此外,必须赋值的所谓 mandatory attributes 也会被标记出来。
在 test management settings(测试管理设置) 中,还可以将 ecu.test 配置为每次登录测试管理系统时自动更新属性定义。
对于已经链接到测试管理系统的 Package 和 Project,可以单独执行属性导入或导出。 相关功能位于对应文件的快捷菜单中。更多说明参见 working with packages(Package(测试包)操作) 和 working with projects(Project(测试项目)操作)。
Package(测试包)操作¶
ecu.test 可以将 Package 作为 test script 导出到相应的测试管理系统中。 反过来,也可以将测试管理系统中的 test script 导入为 Package(抽象 Package,仍需补充具体 test step 实现)。 此外,还可以把 Package 的变更同步到已导出的 test script。
如果某个 Package 已导出到测试管理系统,或已从其中导入,则会在 Properties 选项卡的 Common 区域显示其 test script ID。
通过菜单项 可以断开 Package 与测试管理系统之间的链接。 例如,当新建的 Package 是通过复制一个已链接的 Package 得到时,这个功能就很有用。 断开后,Package 中所有与测试管理相关的信息都会被移除。
通过菜单项 ,可以将已链接的 Package 与测试管理系统中对应的 test script 进行比较。 这样可以确保 Export changes 不会在您未察觉的情况下覆盖测试管理系统中的信息。
导出Package(测试包)到测试管理系统¶
要将 Package 导出到测试管理系统,请在 Workspace 资源管理器中右键单击该 Package,然后选择 。
也可以一次导出多个 Package,方法是同时选择多个 Package,或右键单击一个或多个文件夹。 此时菜单项名称为 Export packages。 同样也可以通过 触发导出。
仅未同步的 Package 才能直接导出。对于已链接 Package 的变更,只能通过 Export changes 提交。
如果选择了多个 Package 或一个文件夹,首先会显示一个对话框,您可以在第一页中选择要导出的 Package。 如果只选择了文件,则会自动跳过此页。若要查看或修改选择内容,可以使用 Back 按钮返回第一页。 显示的树结构与文件系统中的结构一致。目录下显示的 Package 都是尚未链接到测试管理系统、因此可以导出的 Package。
Take over directory hierarchy 选项用于定义是否将目录结构一并带入测试管理系统。
信息
重要:如果导出一个或多个文件夹,导出过程将始终在目标目录下创建对应的子文件夹(如果尚不存在)。 例如,如果将文件夹 “A” 导出到目录 “TMS” 中,则会先在 “TMS” 下创建文件夹 “A”,然后所有后续 artifact 和目录都会放在该文件夹中。
如果未启用该选项,Package 将在下一页对话框中选择的目录下以平铺方式导出。 如果当前测试管理系统不支持目录层级,则不会显示该选项,而是显示提示信息,Package 也会按平铺方式导出。
信息
如果平铺导出文件会导致名称冲突,例如多个源文件夹中的同名文件要导出到测试管理系统中的同一目标目录,则会弹出对话框,要求您重新调整源文件选择。
在对话框的第二页中,可以选择测试管理系统中的目标目录。
如果只选择了一个 Package,则会直接显示目标文件夹选择界面。
在这里可以选择 Package 要导出到测试管理系统中的哪个位置。如有需要,还可以通过右键创建子文件夹(前提是测试管理系统支持)。
如果选择了现有的 test script,ecu.test 会在对话框右半部分显示其属性和 test step。 单击 finish 或 OK 后,所选 Package 对应的 test script 将在目标文件夹中创建,同时这些 Package 会与对应的 test script 建立链接。
Package(测试包)内容映射¶
导出 Package 时,测试管理系统中会创建或更新对应的 test script。该 test script 将采用 Package 的名称和属性,并描述 Package 具有哪些变量(包括输入和输出参数)。 作为 test step,它会包含 Package 的 Test case 选项卡中第二层 block 下各个 test step 的文本表示。
如果 Package 包含一个或多个 Trace Analysis,则会额外创建一个 test step,并按换行列出所有 Trace Analysis 的名称和说明。
之所以选择第二层,是为了让第一层能够按 precondition、action 和 postcondition 进行分组,分别对应前置条件检查/建立、实际测试过程以及后置条件建立或后续状态收敛。
只有满足以下条件时,Package 才能导出:
所有属性都符合测试管理系统或其配置所规定的要求
例如可能要求最大长度
可能只允许使用给定列表中的值
可能对数据类型有限制(例如只能是数值)
所谓 required attributes 不能为空
所有变量都属于支持的类型:String、Numeric、Boolean 或 Undefined
第二层 block 中的所有 test step 都能够通过测试管理接口表示为文本
可表示的 test step 类型包括:
Blocks
Wait test step
带有 supported(即非 manual)期望、且期望类型为 Numeric 或 String 的 Read test step
但字符串期望只能为 identical 或 contained in (list)(此时使用列表中的第一项),并且不区分 case sensitivity
注意:Python 默认函数(built-ins)会在期望表达式中被解释为变量引用
Write test step
对子 Package 的调用
EDIABAS 诊断调用
如果属性错误或缺失,或者变量类型不受支持,则会取消 Package 导出。相比之下,不支持的 test step 会被直接跳过。
信息
ecu.test 提供了一次编辑多个 Package 属性的功能。 这样就可以统一修正 required attributes 的缺失值或不允许的属性值,而无需逐个打开受影响的 Package。
信息
如果第二层 block 中存在不受支持的 test step,可以通过将这些 test step 封装到新建的 block 中,使 Package 变为可导出。 这些 block 的 action/name 和 expectation 应表达其中 test step 的意图。这样,这些文本就会被导出到测试管理系统中。
示例
在下面的 “CrankSensor” Package 中,不受支持的 test step(例如 Start Trace、Stop Trace 和 Execution JobCall)被封装到了 block 中,因此该 Package 可以导出到测试管理系统。
从测试管理系统导入Package(测试包)¶
要从测试管理系统导入 Package,请在 Workspace 资源管理器中右键单击要导入到的目标文件夹,然后选择 。 如果同时选择了多个文件夹,则该选项不可用。
在随后打开的对话框中,可以选择要导入的 test script。每当选择某个 test script 时,窗口右侧都会显示它的属性和 test step。 此外,也可以通过已知 id 直接导入 test script。
单击 OK 后,将创建一个 Package。它会采用所选 test script 的名称、属性和变量。
对于 test script 中列出的每个 test step,Package 中都会创建一个对应的 block test step,并写入相应的 action 和/或 expectation 文本。 如适用,这些 block 会被放置到顶层 block “Precondition”“Action”“Postcondition” 中。只有对子 Package 的调用会按原样导入。
代表 Trace Analysis 的 test step 不会作为 block 导入。
信息
通过这种方式得到的 Package 只包含文本化的测试过程说明。要将其变成完整的(自动化)test script,还需要为自动创建的空 block 补充具体实现。
示例
前文展示的 “CrankSensor” Package 在导出后再导入到新文件夹时,效果如下:
也可以选择一个文件夹。此时会在所选 Workspace 文件夹下创建一个与所选文件夹同名的新子文件夹,并递归导入其中所有 test script 和子文件夹。
将Package(测试包)变更提交到测试管理系统¶
对于之前已经导出到测试管理系统的 Package,可以通过 Package 快捷菜单中的 将变更同步回测试管理系统。 同样也可以通过 对整个 Package 文件夹执行相同操作。 此时更新会直接执行,不再额外确认。
执行时,test script 的属性会被 Package 中的属性覆盖。 删除和新增的变量也会同步删除和新增。重命名变量会被视为删除旧变量并新建同名变量。 只有当 Package 第二层 block 中对应的 test step 不再存在时,test script 中对应的步骤才会被删除。 对于现有 test step 的内容变更和顺序变更,会尽量复用测试管理系统中已有的 test step,以保持其中对这些步骤的引用(例如 test log 中的引用)不被破坏。
信息
并非所有测试管理系统都支持复用已有 test step 和其他 Package 组成部分。在这种情况下,这些对象总是会被覆盖。
导入和导出属性¶
如果只想将某个已链接到测试管理系统的 Package 的属性变更传输到对应 test script,可以在该 Package 的快捷菜单中选择 Export attributes。 反过来,如果要把已链接 test script 的属性变更传回 Package,则可选择 Import attributes。
导出或导入过程无需用户交互(除关闭受影响的 Package 和/或重新登录时可能需要确认外)。
这两个功能也支持多选 Package,或在文件夹快捷菜单中使用(此时显示为 Import/Export package attributes)。
Project(测试项目)操作¶
ecu.test 可以将 Project 导出到相应的测试管理系统中。 反过来也可以将测试管理系统中的 test suite 导入为 Project。 此外,即使不执行导入或导出,也可以直接将 Project 与 test suite 建立链接。后续导出测试报告时,该链接可用于将 test log 对应到 test suite。 在导入或导出 Project 时,这种链接会被自动建立。
在 parameter set 中,该链接会以 test case ID 的形式显示在 parameter set 对话框的 Test management 选项卡中。 Project 本身的链接仅以工具提示形式显示在 Workspace 资源管理器中。 没有 parameter set 的 Package 调用不会在 ecu.test 中显示其链接状态。
通过菜单项 可以断开 Project 与测试管理的链接。 例如,当新建的 Project 是由一个已链接 Project 复制而来时,这个功能就很有用。 断开后,Project 中所有与测试管理相关的信息都会被移除。
导出Project(测试项目)到测试管理系统¶
要将 Project 导出到测试管理系统,请在 Workspace 资源管理器中右键单击该 Project,然后选择 。 也可以一次导出多个 Project,方法是同时选择多个 Project,或右键单击一个或多个文件夹。 此时菜单项名称为 Export projects。 同样也可以通过 触发导出。
如果选择了多个 Project 或一个文件夹,首先会显示一个对话框,您可以在第一页中选择要导出的 Project。 如果只选择了文件,则会自动跳过此页。若要查看或修改选择内容,可以使用 Back 按钮返回第一页。 显示的树结构与文件系统中的结构一致。目录下显示的 Project 都是尚未链接到测试管理系统、因此可以导出的 Project。
Take over directory hierarchy 选项用于定义是否将目录结构一并带入测试管理系统。
重要
如果导出一个或多个文件夹,导出过程将始终在目标目录下创建对应的子文件夹(如果尚不存在)。 例如,如果将文件夹 “A” 导出到目录 “TMS” 中,则会先在 “TMS” 下创建文件夹 “A”,然后所有后续 artifact 和目录都会放在该文件夹中。
如果未启用该选项,Project 将在下一页对话框中选择的目录下以平铺方式导出。 如果当前测试管理系统不支持目录层级,则不会显示该选项,而是显示提示信息,Project 也会按平铺方式导出。
信息
如果平铺导出文件会导致名称冲突,例如多个源文件夹中的同名文件要导出到测试管理系统中的同一目标目录,则会弹出对话框,要求您重新调整源文件选择。
在对话框的第二页中,可以选择测试管理系统中的目标目录。
在这里可以选择 Project 要导出到测试管理系统中的哪个位置。如有需要,还可以通过右键创建子文件夹。 单击 Finish 后,所选 Project 对应的 test suite 将在目标文件夹中创建。 在此过程中,Project 以及其中包含的 Package 调用和 parameter set 会与相应的 test suite 和 test case 建立链接。
Project(测试项目)内容到测试管理的映射¶
导出 Project 时,测试管理系统中会创建一个对应的 test suite。 该 test suite 将采用 Project 的名称和属性,并以 test case 的形式包含对 Project 所调用 Package 对应 test script 的引用。 与 parameter set 对应的 test case 还会额外包含参数赋值信息。
配置变更、generator、subproject 调用以及 Project 的文件夹结构都不会体现在 test suite 中。 parameter set 中的替代映射、全局常量赋值,以及诸如子项目独立执行或出错重试等特殊设置,同样不会被反映。
只有满足以下约束时,Project 才能导出:
所有属性都符合测试管理系统或其配置所规定的要求
例如可能要求最大长度
可能只允许使用给定列表中的值
可能对数据类型有限制(例如只能是数值)
所谓 required attributes 不能为空
Project 所调用的 Package 已经链接到测试管理系统中的 test script。
信息
如果部分或全部 Package 尚未链接到测试管理,Project 导出对话框会提供机会,让您在导出 Project 之前先导出这些 Package。
要指定某个 Package 进行导出,请用鼠标将其拖放到目标文件夹上。单击 Finish 后,会先导出这些 Package,再导出 Project。
但如果您不想导出这些 Package,而是希望将它们链接到已有 test script,则必须先取消 Project 导出,单独完成这些链接后,再重新开始导出 Project。
从测试管理系统导入Project(测试项目)¶
要从测试管理系统导入 Project,请在 Workspace 资源管理器中右键单击要导入到的目标文件夹,然后选择 。 如果同时选择了多个文件夹,则该选项不可用。
也可以通过 启动导入。
在随后打开的对话框中,可以选择测试管理系统中的 test suite。每当选择某个 test suite 时,窗口右侧都会以预览形式显示其属性和 test case(包括名称、ID 和参数赋值)。 此外,也可以通过已知 id 直接导入 test suite。
单击 OK 后,将创建一个 Project。它会采用 test suite 的名称和属性。 对于 test suite 中包含的每个 test case,ecu.test 都会在 Project 中创建一个 Package 调用,并指向链接到相应 test script 的 Package。 如果该 test case 包含参数赋值,则还会在该 Project 调用上附加对应的 parameter set。
信息
每个 test case 都会创建一个单独的 Package 调用,并可带或不带一个 parameter set。 即使这些 test case 实际上引用的是同一个 test script,也是如此。哪怕该 test suite 最初是由一个包含多个 parameter set 的单个 Package 调用所导出的 Project 生成的,也仍然如此。
信息
选择 test suite 后,可以从可用 test case 中挑选一个子集进行导入。只需在预览中取消勾选不需要的 test case 即可。
要将 test suite 导入为 Project,其 test case 所引用的 test script 必须已经作为 Package 存在(即这些 test script 已被导入并创建了 Package,或者是通过导出 Package 生成的)。 如果不满足该条件,ecu.test 会在导入 Project 之前提供先将这些 test script 导入为 Package 的选项。
也可以选择一个文件夹。此时会在所选 Workspace 文件夹下创建一个与所选文件夹同名的新子文件夹,并递归导入其中所有 test suite 和子文件夹。 但在导入整个文件夹时,无法自动补导缺失的 Package。
关联和同步Project(测试项目)¶
要将现有 Project 链接到现有 test suite,请在 Workspace 资源管理器中右键单击该 Project,然后选择 。
在随后出现的对话框中,选择要与 Project 建立链接的 test suite。
单击 Synchronize 后,会进入对话框的第二页,在这里会显示基于名称的匹配结果:将 Project 中的 parameter set 和不带参数的 Package 调用分配给 test suite 中的 test case。 无法匹配到 test case 的 parameter set 和 Package 调用,以及无法匹配到 parameter set 或 Package 调用的 test case,也都会显示出来。
单击 Finish 后,Project 文件中会记录与 test suite 以及各个 test case 的链接关系。
如果某个已链接到 test suite 的 Project 需要与该执行计划重新对齐,则可以选择 。 当 Project 或 test suite 发生变化时,这个功能尤其有用。
导入和导出属性¶
如果只想将某个已链接到测试管理系统的 Project 的属性变更传输到对应的 test suite,可以在该 Project 的快捷菜单中选择 Export attributes。 反过来,如果要把已链接 test suite 的属性变更传回 Project,则可选择 Import attributes。
导出或导入过程无需用户交互(除关闭受影响的 Project 和/或重新登录时可能需要确认外)。
这两个功能也支持多选 Project,或在文件夹快捷菜单中使用(此时显示为 Import/Export project attributes)。
测试报告操作¶
如果测试报告来源于执行时已链接到测试管理系统的 Project,则 ecu.test 可以将该测试报告作为 test log 导出到测试管理系统。
导出测试报告到测试管理系统¶
要将测试报告导出到测试管理系统,请在 Report viewer 的工具栏中单击按钮 Export results to test management
。
也可以通过 ecu.test 主程序中的 调用报告导出。
通过这种方式,可以选择一个报告文件(*.trf)或一个目录,并同时在其所有子目录中搜索报告文件。
在对话框下半部分显示的树结构中,可以选择该测试报告中哪些 package run 要导出到测试管理系统。 当然,只有其 Package 调用或 parameter set 已链接到某个 test case 的 run 才能被选中导出。 如果选择的是目录,则会列出在所有子目录中找到的全部报告,并允许选择。
信息
注意:如果报告文件夹较大,加载报告数据可能需要一些时间。
信息
所选报告必须来自 Project 执行。此外,只有已链接到测试管理的元素才能导出。未链接元素会以灰色斜体显示,且无法选中。
如果某个报告没有任何可导出的有效元素,它也会以灰色斜体显示,并在初始状态下折叠。
单击 Next 进入下一页后,可以选择随报告一同导出到测试管理系统的 artifact:
可以在原始 TRF 文件和报告文档生成器的输出之间进行选择。
TRF-Split 生成器可以从公共的 Project 报告 TRF 文件中为每个 package run 提取单独的 TRF 文件。
其他报告文档生成器会创建可在 ecu.test 外部阅读的格式,例如 HTML。
可以选择是否包含报告文件夹中的附加文件(例如日志、信号 Recording)
可以选择是否压缩这些文件
可以选择是否将文件复制到指定位置(例如共享网络驱动器)
可以选择是将文件本身附加到 test log,还是仅向 test log 添加这些文件的链接;如果文件被复制到共享网络驱动器,后一种方式尤其有优势。
信息
如果归档文件,会保留报告目录中的目录结构。如果导出的是报告文件,则还会在文件系统中额外创建其父目录。
这些设置的默认值可以在 Test management settings(测试管理设置) 中定义。
单击 Finish 后,测试管理系统中会为每个 package run 创建一个 test log。 该 test log 会指向已执行的 test case 和 test suite。 其中包含 package run 的总体评价,以及测试报告中的所有可能的重新评估备注。
对于第二层 block 中每个已执行的 test step(对应 test script 中的步骤),test log 中都会创建一条记录,并包含以下信息(如果测试管理系统支持):
指向该 test step 的引用
评价结果
时间戳
test step 文本
实际值
期望值
根据 test step 类型不同,其中某些字段可能为空。
所选 artifact 会附加到 test log 中。如果选择了 generator,则会先执行 generator,再创建 test log。 如果 generator 生成的不止一个文件,则会将其输出文件夹打包为 zip,并使用该 zip 文件。