关键字驱动测试教程

本教程概览 ecu.test 提供的 基于关键字的测试的各种可能性。

教程中使用的示例数据随 ecu.test 一同提供。示例数据如何 集成到 Workspace 中,此处 给出了说明。本教程的文件可在子文件夹 Tutorial-KeywordBasedTesting 中找到。

以下两种方式可实现关键字驱动测试:

  1. Descriptive names of library packages in test cases

  2. 库 Package 返回值的评估

基于关键字的测试基础

ecu.test 的核心特性之一是使用 Package references,即 Package 能够 调用其他 Package。这样可以封装特殊的 test sequence, 并在大量 test case 中复用。多个此类辅助 Package 可组合为库, 从而提高可维护性并确保 test case 结构清晰。

Info

这一概念应与 Library workspaces(库工作区) 区分开。此处所指的库 Package 与调用它的 Package 位于同一个 Workspace 中。

关键字驱动测试基于库 Package。使用关键字可以定义可通用互换的 test case,因为它们使用同一种语言。每个关键字描述一个输入变量(参数或信号)。因此,关键字构成了 test case 规范与实现之间的接口。

在 ecu.test 中,可以在 Package references 的范围内并借助 Mapping 实现基于关键字的测试。

替代 Package 表示形式

ecu.test 支持在 Package 的 Mapping 中分配替代调用表示,其中可以使用占位符。占位符有两种类型:

  • 通过 ${Parameter.MY_PARAM} 可以访问被引用 Package 中参数的值。

  • 通过 ${Mapping.MY_SIGNAL} 可以访问所引用 Package 中 Mapping 的名称。

可以使用参数和 Mapping 来通用地编写 Package,并用不同的信号和参数调用它们。为确保占位符能被正确解析,所有被引用的变量都必须在 Package 调用中正确参数化。此时 test step 的名称遵循 <name of the mapping>: <alternative display name> 这一格式,其中占位符由参数化的值替换。无法解析的占位符不会导致错误消息,但也不会被替换。

关于 Package 的另一种表示方式的教程,请参见 关键字驱动测试教程。

Package 返回值

可以为被引用 Package 的返回值定义预期值。随后在调用方 Package 中评估这些预期值。如果所有返回值都符合其预期值,则 Package 调用的结果为 SUCCESS。如果至少有一个返回值不满足预期,则该库 Package 评估为 FAILED。

返回值的评估也可以与时间条件关联。

描述性 Package 调用

Motivation

作为测试人员,我希望建立一个通用 test sequence 库,以便在 test case 中灵活复用。同时希望 test step 的表述尽可能接近我的规范。

创建通用参考 Package

首先,我创建库 Package StartStopEngine.pkg,它用于启动或停止发动机,并通过我选择的信号检查是否成功。我希望能够灵活指定是启动还是停止,以及用哪个信号检查成功。为此,我创建一个 parameter EngineRequest,其类型为 Enum,取值为 ‘Start’ 和 ‘Stop’:

../_images/StartStopEngine_EngineRequest.png

为读取任意信号,我添加一个 Mapping 名称为 QuantityToCheck 的通用读取测试步骤。作为评估,我指定测量值应大于 0(启动时)或等于 0(停止时):

../_images/StartStopEngine_QuantityToCheck.png

使用具有描述性名称的引用 Package

现在我想把引用 Package StartStopEngine.pkg 用在测试用例 Testpackage.pkg 中。第一次调用应启动发动机,并使用 VehicleSpeed 信号检查启动是否成功。第二次调用将停止发动机,并使用 EngineSpeed 检查是否成功。此外,我希望能更方便地区分这两次 Package 调用,并能从显示名称看出我的库 Package 是如何参数化的。

为此,我首先需要创建一个 Mapping 条目,用于我的库 Package StartStopEngine.pkg。这既可以在 Global Mapping 中进行,也可以在调用方 Package 的 Local Mapping 中进行(此处为 Testpackage.pkg)。

在本教程中,我在全局 Mapping 中创建了一个条目。在 Mapping 编辑对话框中,我可以分配 Alternative Call Representation。该替代调用表示可以引用被引用 Package StartStopEngine.pkg 的参数和 Mapping 的值。参数使用 ${Parameter.My_Parameter} 记法,Mapping 使用 ${Mapping.My_Mapping_Entry} 记法:

../_images/EditMappingItem_AltCallRepr.png

对于 StartStopEngine.pkg,我用 ${Parameter.EngineRequest} 引用 EngineRequest,并用 ${Mapping.QuantityToCheck} 引用 QuantityToCheck。一旦我把 Mapping 条目插入 Testpackage.pkg 并对 Package 调用完成参数化,它们的值就会被替换。

接下来,我将 Package Mapping 拖入 Testpackage.pkg 并按需要对其进行参数化:

../_images/TestPackage.png

我的引用包 StartStopEngine.pkg 在 Testpackage.pkg 中的显示名称现在也 包含带参数化值的替代调用表示形式。我可以一眼看出 Package 调用将执行什么操作。

评估库 Package 的返回值

Motivation

作为测试人员,我希望建立一个通用测试序列库,以便在 test case 中灵活复用。 库中的部分 Package 会生成内部返回值。我希望 在 Package 调用中直接评估这些返回值。

创建带返回值的库 Package

我以教程 Descriptive package calls 中的 StartStopEngine.pkg 作为模板。该 Package 启动/停止一个发动机模型,并通过读取我指定的信号来检查启动/停止是否成功。不过,我并未在库 Package 中直接评估该信号的结果,而是将其存储为 Return value QuantityToCheckResult:

../_images/StartStopEngineWithReturnValue.png

返回值的评估

然后我创建一个新 Package TestPackageWithReturnValueEvaluation.pkg,并在其中调用 StartStopEngineWithReturnValue.pkg。我对该调用进行参数化,使我的发动机模型 被启动,并使用信号 EngineSpeed 检查启动是否成功。 由于我指定了返回值 QuantityToCheckResult,它会显示在 Parameterization of package 对话框的 Parameterization 标签页中。在此,我还可以 指定 Expectation 并将其设为“>0”:

../_images/DefineReturnValueExpectation.png

当我执行 TestPackageWithReturnValueEvaluation.pkg 时,对 StartStopEngineWithReturnValue.pkg 的调用会根据我的预期进行评估,所有必要信息一目了然:

../_images/ReturnValueEvaluation_TestReport.png

使用时间选项评估返回值

返回值的评估也可以与时间条件关联。为此,我在设置预期值后展开 Time options 面板。通过 Wait until true 选项,我指定预期结果必须在特定时间内出现。我将 Timeout 设为 10 秒,将 Polling cycle 设为 500ms,这样 Package 会每 500ms 执行一次,直到所有预期都已满足(成功情况),或者并非所有预期都满足且已达到 10 秒的超时(错误情况)。

../_images/DefineReturnValueExpectationWithTimeOptions.png

启用时间选项后,可在测试结果详情中获得有关所用时间选项及运行次数的附加信息。

../_images/ReturnValueEvaluationWithTimeOptions_TestReport.png

所有时间选项的详细说明见 Time options 章节。