Structuring(结构化)¶
本章节汇总了有助于组织测试用例结构的 test step 模板,例如对 test step 进行分组或添加注释。
Block(块)¶
该 test step 模板用于对相关联的 test step 进行分组。借助它,可以更清晰地组织较长的测试序列。在测试用例编辑器中,可通过单击 block 旁边的 “+” 展开其中包含的步骤,或通过 “-” 将其折叠隐藏。在测试报告中,block 内的所有 test step 都会以缩进形式显示。其评估结果由其中各个 test step 的单独评估结果汇总得出。
block test step 支持在 block 内任意 test step 执行失败时终止或中止测试用例。要定义 block 的行为,请在对话框中展开 Conditional test abort 区域,并指定哪些 verdict 应被视为失败,从而触发测试用例终止或中止。block 内的各个 test step 会分别执行并评估。如果其中任意 test step 的评估结果满足中断条件,则测试用例(主 Package)的执行会在该 block 内被终止或中止。终止行为与 Exit test step 相同。若执行的是 abort,则 block 本身以及测试用例都会被评估为 ERROR;若执行的是 terminate,则 block 和测试用例的 verdict 不会被修改。
终止原因或终止限定信息(例如测试管理需要评估的结果)可以作为 abort code 保存。该 abort code 会写入测试报告中的 “value” 列。预定义的 abort code 可以保存在 Workspace 文件 verdictmappings.xml 中,随后即可在下拉列表中使用。如果已配置测试管理系统,也可以在 test management settings(测试管理设置) 中定义 abort code 列表。此外,还可以定义 abort comment,以更精确地说明中止原因。
如果存在 abort code 和 abort comment,它们会显示在测试报告的 Package 摘要中。每个 Package 只能有一个 abort code 和一个 abort comment。因此,如果某个 Package 中包含多个嵌套 block,则由 “Override abort information of underlying test steps” 选项决定最终在报告中显示哪一组中止信息。假设一个 block 嵌套在另一个 block 内,且内层 block 定义了 abort code 和 abort comment,那么只有在外层 block 未勾选 “Override abort information of underlying test steps” 选项时,这些信息才会显示在报告中。该行为不受 “Abort test on” 选项影响。也就是说,无论后者如何设置,外层 block 都会覆盖下层的中止信息。
User instruction 复选框用于将该 block 标记为在交互式执行时需要朗读的内容。在测试用例视图中,这类 block 会以扬声器图标标识。更多信息请参见章节 Interactive Testing(交互式测试)。
Block test step 支持以不同语言保存列内容(另见 Check translation package)。当前使用的语言可在 Workspace 设置中选择(见 Test editor),并通过旗帜图标表示。
此外,还可以在 Action / Name、Parameter 和 Expectation / Value 的文本中使用变量当前值。要使用该功能,变量必须放在花括号中,例如 {variableName}。执行期间,这些占位符会被变量当前值替换,并显示在执行对话框及测试报告中。使用该功能时,原始文本仍会记录在 block 的报告详情中。交互式执行测试时,替换后的文本会被朗读,因此可以使用参数化指令,例如根据当前测试进度动态生成提示内容。
如果在插入 block 时已经选中了多个连续 test step,则它们会自动移动到新插入的 block 中。
Pre- and Postcondition(前置条件与后置条件)¶
有时需要在实际测试之前和/或之后执行若干步骤。例如,如果测试会访问模型中的特定值,则模型在测试开始前应处于特定状态;测试结束后,还应将模型恢复到初始状态,以避免后续产生副作用。
为此提供了两个特殊的 test step:Precondition 和 Postcondition。下面将对这两个特殊的 block test step 进行更详细说明。
Precondition(前置条件)¶
在 precondition 中,会执行测试准备所需的所有步骤。从测试用例规范的角度看,Precondition 实际上并不属于测试本身。它只是建立测试允许运行所需的初始条件。只有当 Precondition 成功执行后,测试本身才允许运行。根据 Abort test on 选项,只要 Precondition 中至少有一个步骤被评估为 INCONCLUSIVE(可选)、FAILED 或 ERROR,测试就会立即中止。
Caution(注意)
如果某个 test step 的结果来源于 Trace Analysis,则它不能用于中止测试用例,因为 Trace Analysis 只有在测试用例结束后才会执行,因此在测试用例剩余步骤执行完成之前,无法得知该 test step 的结果。
根据 Override result 选项,只要其中包含的步骤结果为 INCONCLUSIVE(可选)、FAILED 或 ERROR,precondition 就会被评估为 ERROR。如果其中所有 test step 的结果均为 NONE 或 SUCCESS,则 Precondition 会被评估为 NONE。
或者,也可以将 Override result 设为 Do not override result。在这种情况下,Precondition 会像普通 block test step 一样,根据其子 test step 的结果进行评估,因此例如也可能得到 SUCCESS。
Info(说明)
Override result 选项会影响测试报告中重新评估结果的传播方式。如果启用了该选项,也就是它不是 Do not override result,那么即使 precondition 内部的某个 test step 被重新评估,precondition 的结果仍然只能是 NONE 或 ERROR。该选项会记录在测试报告中的 precondition 节点上,以便追踪实际行为。
与普通 block test step 不同,precondition 默认会覆盖 abort code 和 abort comment。不过,这一行为可以通过 Override abort information of underlying test steps 设置进行修改。任何有效的 Python 表达式都可以用作 abort code。此外,当已建立到测试管理服务的连接时,还可能提供预定义 abort code 列表。更多信息请参见章节 Configuration(配置)。
Postcondition(后置条件)¶
Postcondition 是在测试运行完成后要执行的任务列表。如果勾选了 Execute Postcondition also on abort,则即使测试被用户或某个 test step 显式中止,该列表中的任务仍会执行。
Postcondition 的评估行为与 Precondition 类似。根据 Override evaluation of underlying test steps (NONE/ERROR) 选项,会基于所包含 test step 的结果来确定其评估。如果启用该选项(默认值),当其中 test step 的结果为 NONE 或 SUCCESS 时,Postcondition 会被评估为 NONE;否则会被评估为 ERROR。如果未启用该选项,则 Postcondition 会根据其 test step 的结果进行评估。Affect global test result 选项用于配置该结果是否影响全局测试结果。默认情况下该选项处于启用状态,如下图所示。
Info(说明)
Postcondition 本身只能通过用户手动中止或 return test step 提前结束。Exit test step 以及由嵌套 block test step 引发的中止都会被忽略。
Restrictions(限制)¶
Precondition 必须是该 Package 中的第一个 test step。如果不是这样,Precondition 会在测试用例编辑器中被标记为错误。执行这样的 Package 时,也会在测试报告中产生相应的错误消息。类似地,Postcondition 必须始终是该 Package 中最后一个 test step。此外,不允许引用包含 Precondition 和/或 Postcondition 的 Package。
Comment(注释)¶
选择 comment test step 时,会打开 comment 对话框。
借助该功能,可以对测试序列添加注释并进行分段。这些注释会记录在测试报告中。
输入内容既可以是字符串,也可以通过变量,或两者组合。例如,如果变量 “TextVar” 的值为 "Hello",则表达式 TextVar + " World" 在测试报告中会得到 "Hello World"。
通过 evaluation 后方的选择项,可以指定通常不参与评估的 comment test step 是否应获得一个静态评估结果。这有助于在测试报告中突出显示该信息,并让用户一眼就能看出该注释表示的是预期行为还是异常行为。
单击 OK 后,该 test step 会被插入测试序列。
Todo(待办)¶
严格来说,该 test step 并不是真正的测试步骤,而更像是一个提醒,用来标记此处仍有内容需要处理。因此它类似于注释,不同之处在于:一旦执行,由于此处缺少实际 test step,它始终会被评估为 FAILED。某个 Package 中所有 ToDo step 的汇总信息,可在已打开 Package 的 Properties 标签页中查看。