Project 编辑器

Project 可用于汇总多个 Package。为此,ecu.test 集成了多种功能,以改进对 Package 的管理。

可以为一个 Package 添加多组参数数据。这样,该 Package 会针对每一组参数数据各执行一次。

此外,还可以让多个 Package 按顺序依次执行。这样就能建立由独立测试组成的大型测试运行,并且可以在较长时间内无需用户交互地自动执行(例如过夜运行)。执行结束后,会生成包含所有测试详细信息的报告。

Project 可以连同复现测试运行所需的全部数据一起导入和导出。

../../_images/Projekt_Parametrierung.png

通过菜单项 File ‣ New ‣ Project 可以创建一个新的 Project,并在编辑器中将其打开。

更多主题:

Project 元素

可以将 Package、Project 调用和配置切换作为 Project 元素添加到 Project 中。添加方式是从 Workspace 标签页拖放到 Project 窗口中。配置切换(参见 Configuration change(切换配置))则通过拖放配置文件(*.tcf、*.tbc 文件)来添加。也可以通过 Workspace 标签页中的上下文菜单添加 Project 元素。

此外,还可以将整个文件夹添加到 Project 窗口中,或者使用自行创建的 Project 文件夹来获得更好的概览。Project 窗口中生成的 Package 条目仅表示对 Workspace 标签页中 Package 的引用。

树形结构会显示已添加到 Project 中的 Package 和文件夹。如果某个 Project 存在参数集,则该 Package 可以展开,随后就能看到现有的参数集。

参数数据集显示的是 Package 执行期间参数的赋值情况。因此,同一个 Package 可以在一个 Project 中使用不同的参数数据集连续执行多次。

../../_images/Projekt_Baum.png

右键单击项目树中的某个元素会打开一个上下文菜单:

../../_images/Projekt_Kontextmenue.png
Edit(编辑)

包含扩展选项。可在此决定测试执行后重置量值的操作是启用、停用,还是沿用上层组件中的设置。上层组件可以是项目文件夹、整个 Project,或在最高层级时为测试配置。

此外,还可以决定在 ERROR 或 FAILED 时是否重复执行 Package。例如,如果测试配置中规定在出错时取消执行,则可以先运行一个 “error” Package 来重新初始化测试台架,然后再次执行该 Package。此时,测试报告中只会显示重复执行后的结果。

结合 Trace 分析时,Package 重复执行的处理方式如下:

原则上,只有在 test case 无需重复执行时才会执行 Trace 分析,无论是因为测试结果满足期望,还是因为未配置重试次数。

如果某次 Trace 分析的结果触发了重试,则在顺序处理模式下会同时重复执行测试和 Trace 分析。在并行处理模式下,Trace 分析始终只执行一次,其结果不会用于决定是否重试。

还可以在项目根节点和文件夹上配置随机执行模式。启用后,所有下级项目步骤都会在项目执行期间按随机顺序执行。该设置也可以从上级调用方(Project 或文件夹)继承。限制:如果项目根节点或文件夹在第一层包含配置切换步骤,则无法使用随机执行顺序。

如果该窗口是为项目根节点打开的,则还会提供一个附加标签页 Attributes(属性),可用于为项目设置说明和附加属性,与 Package 的处理方式相同。Project 可用的属性在文件 prjattr.spec 中定义。这里还会显示 Project 的测试管理 ID(test id)。该值只能复制,不能修改(只读)。

Execute from here(从此处执行)

从所选位置开始执行后续所有 Package。因此,可以仅重新运行 Project 的一部分。

New(新建)

将以下元素之一添加到项目树中:

在项目根节点上单击右键:

在 Package 引用上单击右键:

Parameterization(参数化)

允许在主 Project、文件夹和参数集中指定默认值,这些默认值会对下级组件生效。在项目树中层级更深处指定的值会覆盖上层的值。这里主要用于配置 Package 参数和全局常量,而 Parameter set(参数集) 则提供更多设置项。

信息

与 Parameter set(参数集) 不同,这里(或项目文件夹中)引用的 *.ppd 文件可以定义调用的 Package 中不存在的参数,而不会导致错误。

信息

如果为某个先前已在运行时设置过值的全局常量重新赋值,则其运行时值会被重置。在后续元素中,如果父节点定义了该常量,则继续使用父节点定义的值;否则,该全局常量会被视为未定义。

Activate(激活)

决定对应元素是否执行。这样无需修改整个 Project,就能方便地停用单个元素。

Report(报告)

决定是否为该 Package 生成测试报告。如果停用此选项,则该 Package 仍会执行,但评估时无法查看其详细结果。

Delete、Rename、Cut、Copy 和 Paste 对应常见的标准功能。

Package reference(Package 引用)

可通过右键单击并选择 New ‣ Package reference 将 Package 引用添加到 Project 中,也可以从包树中通过拖放方式添加。这样多个 Package 会依次执行,并汇总显示在一个大型测试报告中;该报告还包含 “SUCCESS”/“FAILED” 元素数量的统计信息。

Package 引用有多种类型。除普通的 Package 引用 icon_package 外,还有 stimulation packages icon_stimulation 和 analysis packages icon_analysis。后两者组合后会形成一种特殊工作流,详见 Stimulation package and analysis package(激励包与分析包) 一章。

右键单击某个 Package 引用可打开该 Package 进行检查(类似于按住 Shift 后双击),也可以添加参数集/参数生成器(菜单项 New)。单击 properties 后,可设置不同选项:

../../_images/Packagereferenz_1.png ../../_images/Packagereferenz_2.png

Package error handling 选项卡允许在评估结果为 ERROR 或 FAILED 时自动重复执行某个 Package。再配合可在此指定一个在中止、ERROR 或 FAILED 情况下执行的 Package,这为在出现问题时将测试环境恢复到已定义状态提供了高效手段。这些设置与 Execution tab(执行选项卡)中的对应设置 一致,但这里可以针对每个引用单独配置。同样的设置也可用于 Project 文件夹、Project 根节点、Project 调用以及参数集;如果在这些节点上配置,它会作用于其中包含的所有 Package 引用,或者在参数集的情况下作用于单次参数化的 Package 执行。

Reset test quantities(重置测试量) 选项卡同样对应已配置的设置,并且可在此单独启用或停用。

Parameter set(参数集)

参数集可用于对 Project 中的 Package 引用进行参数化。一个 Package 引用可以包含零个或多个参数集。如果未定义参数集,则该 Package 会使用其对应默认值执行一次。如果定义了一个或多个参数集,则该 Package 会针对每个参数集执行一次,并传入相应参数。

双击 Parameter Set(参数集)会打开如下对话框:

../../_images/Projekt_Parametersatz.png

在 Parameterization 选项卡中,可以覆盖该 Package 的参数。上半部分可静态指定参数;下半部分可引用 Package 参数定义文件(*.ppd,详见 parameter definitions(参数定义))。无论是静态定义的参数还是来自 *.ppd 文件的参数,都必须在该 Package 中存在,否则执行时会报错。这里未覆盖的参数会使用其默认值。

信息

列表中文件的顺序会影响参数取值的优先级。也就是说,如果两个不同文件中为同一参数指定了不同的值,最终生效的是列表中位置更靠上的文件中的值。窗口上半部分静态定义的参数会以 <statically defined entries> 条目表示,其优先级也由其位置决定。

Mapping(映射) 选项卡允许操作所引用 Package 的映射条目。借助该功能,可以在使用不同参数集多次执行同一个 Package 的同时,在每次运行中使用不同的映射目标。此外,还可以通过拖放将全局映射中的映射项定义为映射目标。通过修改这些引用在全局映射中的目标,无需修改父 Project 本身,就可以调整被调用 Package 中各测量量的目标。

在 Signal recordings(信号记录) 选项卡中,可为该 Package 的信号组临时定义新的记录组。

Global constants(全局常量) 选项卡可用于影响该 Package 中全局常量的取值。一方面,这允许定义当前已启动测试配置中不存在的新全局常量;另一方面,也可以覆盖已存在的全局常量值。此外,还可按 Constants definition editor(常量定义编辑器) 一节所述引用常量定义文件。

信息

修改或定义全局常量始终只会影响对应那一次 Package 运行实例,不会对后续运行产生副作用。

在 Attributes(属性) 选项卡中,可设置 Package 属性的值,同时也允许针对该参数集覆盖 Package 中已定义的属性。

测试执行结束后,测试报告会显示每次 Package 运行所使用的不同参数化。示例可参见 Evaluation(评估) 章节。

Project reference(Project 引用)

右键单击(主)Project 中的某个元素,并选择 New ‣ Project reference,即可将现有 Project 作为引用添加到该 Project 中。作为引用添加意味着这里只会创建到现有 Project 的链接,因此对该引用所做的所有修改也会作用到主 Project。

右键单击某个 Project 引用并选择属性时,除适用于 Package 的通用属性外,还可以设置以下执行选项。

../../_images/Projektreferenz.png

单独执行子项目

这里的 “Separate” 主要是指项目报告:默认情况下,所有项目元素都会写入同一个项目报告。启用该选项后,Project 引用会生成自己的项目报告,并保存在单独的子文件夹中。主 Project 的测试报告只会显示总体结果。该属性也可以设置在项目根节点或项目文件夹上,此时会作用于其中所有未单独设置该属性的 Project 引用,文件夹名称将自动生成。

如果已配置单独的子项目执行,还可以设置其中止行为。如果子项目执行被中止,或者被 Exit(Exit) test step 结束,则可以决定是取消整个 Project 的执行,还是仅取消该子项目执行并让 Project 继续执行下一个项目步骤。该行为也可以从父元素设置继承。

信息

用户手动中止始终会导致整个 Project 执行终止。

Random execution order(随机执行顺序)

该 Project 中包含的项目元素会按随机顺序执行。该行为也可以从父元素设置继承。

信息

启用此执行选项后,Project 中不允许使用配置切换。

Parameter generator(参数生成器)

该生成器会分配给 Project 中的某个 Package,并在运行时创建参数集。参数集会逐个生成,并立即使用该 Package 执行。执行结束后,可访问该 Package 的返回参数。这些参数值又可用于控制后续生成。一方面,这提供了一种非常灵活的方式来执行包含大量参数集的 Package;另一方面,也可以将参数保存到例如 Microsoft Excel 这样的外部文件中。

如果需要保存参数集,可以使用该生成器创建一个 Project 副本,用所有已生成的参数集替换生成器节点。可通过生成器上下文菜单中的 Generate project(生成 Project) 来完成。

信息

使用静态生成时,只会生成参数集而不会执行它们。

有关如何创建参数生成器的说明,请参见章节 Extensions(扩展) 中的 Parameter generator for projects(Project 的参数生成器)。

要在 Project 中使用该生成器,可右键单击某个 Package 引用,依次选择 New、Parameter generator 和目标生成器名称。也可以在同一个 Package 上应用多个生成器,这些生成器会按顺序执行。

Parameter variation(参数变化)

参数变化是一种特殊的参数生成器。它提供了一种简便方式,可将不同参数的取值范围进行组合。当你想检查一个包含大量参数且这些参数又具有多种不同取值的测试用例时,这一功能尤其有用。

Notation of the Parameter Values(参数值的表示法)

支持的参数类型包括 Numeric、String、Enum 和 Texttable。其中 String、Enum 与 Texttable 类型的参数必须使用引号,例如 “A”。

参数值可按以下表示法输入。请注意,String、Enum 和 Texttable 类型的参数只能用于列表。

List(列表)

可输入任意值,并用逗号分隔。

示例

23、42、77 或 “A”、“B”、“C”

Stepwise(步进)

可按给定步长在某个范围内定义参数。语法为 start(step)stop,其中 step 表示步长,start 和 stop 均包含在内。

示例

10(5)20;将测试以下参数值:10、15、20

Equivalence class partitioning(等价类划分)

可使用 [start:end] 的表示法定义等价类。使用该表示法时,系统会自动测试边界值以及区间内的一个值。

示例

[-30:0],[0:50];将测试以下参数值:-30、-29、-15、-1、0、1、25、49、50

信息

等价类划分仅适用于整数。

算法

组合参数时可选择以下算法:

Cartesian Product(笛卡尔积)

该算法会为所有可能的参数组合生成参数集。由指定参数值构成的参数空间会被完全覆盖。

注意

参数空间会随着参数数量及其具体取值数量呈指数增长。

Classification Tree Method(分类树方法)

该算法会生成参数集,以确保每个参数值至少被测试一次。

使用该方法时,只能检测依赖单个参数值的错误;但相较于 Cartesian Product(笛卡尔积),生成的参数集数量会少得多。

Pairwise Method(成对方法)

该算法是对 Classification Tree Method(分类树方法) 的扩展,可测试任意两个参数值的所有组合。

在参数空间覆盖度和生成参数集数量方面,该方法介于 Classification Tree Method(分类树方法) 与 Cartesian Product(笛卡尔积) 之间。

N-wise Method(N 元组合方法)

该算法是 Pairwise Method(成对方法) 的推广,可测试 n 个参数值的所有组合。

参数集数量上限

可以为生成的参数集设置最大数量限制。如果生成过程中达到该上限,生成会被停止。

使用 random 选项时,系统会从完整结果集中随机选择参数集,直到达到上限为止。在“高级设置”中还可以配置随机生成器的方法:

non-deterministic(非确定性)

每次测试运行都会选择一个新的随机结果集,因此测试结果也不是确定性的。

deterministic(确定性)

对于每次测试运行,给定 seed 时选择的结果集完全相同(伪随机)。可通过修改种子来改变结果集。

参数集编号

可启用或停用参数集编号。启用后,每个参数集都会以 Package 名称加顺序号命名;停用后,所有参数集都只使用 Package 名称。

Package generator(Package 生成器)

可通过上下文菜单中的 New ‣ Package generator 及所需生成器,直接在 Project 根节点上创建该生成器。 执行 Project 时,生成器会随后生成 Package 并执行它们。这些 Package 不会持久保存到文件系统中,因此执行后将无法再访问。

如果需要保存这些 Package,可以使用生成器创建一个 Project 副本,在其中引用所有已生成的 Package,而不是保留生成器节点。 这可以通过在生成器的上下文菜单中选择 Generate project(生成 Project) 来完成。

信息

使用静态生成时,这些 Package 只会被生成,而不会执行。

有关如何创建 Package 生成器的说明,请参见 Package generator for projects(用于 Project 的 Package 生成器)。

如需对不同 Trace 文件进行定性信号比较,可使用 Reference test package generator(参考测试 Package 生成器)。

Project generator(Project 生成器)

Project 生成器可基于脚本在 Project 执行期间动态创建 Project。有关如何创建 Project 生成器的说明,请参见 Project generator(Project 生成器)。

可通过在上下文菜单中选择 New -> Project generator 及相应生成器,在 Project 根节点或 Project 文件夹上创建该生成器。

执行 Project 时,会生成并执行这些 Project。这些 Project 不会持久保存到文件系统中,因此无法用于重复执行。

如果需要保存这些 Project,可以使用生成器创建一个 Project 副本,在其中引用所有已生成的 Project,而不是保留生成器节点。 这可以通过在生成器的上下文菜单中选择 Generate project(生成 Project) 来完成。

内置的 Workspace 过滤器生成器会基于已定义的 Filter(过滤器) 生成 Project。

信息

使用静态生成时,这些 Project 只会被生成,而不会执行。

Configuration change(切换配置)

通过 Project 步骤“Change configuration”,可以更改、启动和停止测试配置及测试台架配置,例如在不同的测试台架配置或被测对象配置之间切换。 在一个 Project 中,可以使用任意数量的“Change configuration”步骤。

此外,该 Project 步骤还允许独立更改所用配置中各个工具的状态,即分别启动、停止或重启工具。 通过连续使用多个“Change configuration”步骤,可以实现自定义的启动和关闭顺序。

该 Project 步骤提供以下选项:

../../_images/Projekt_Konfigurationswechsel.png

信息

如果在 Project 中插入切换配置步骤,则 Project 或文件夹上可能存在的参数化会覆盖新加载配置中的设置。

可使用下拉框选择所选配置是启动(或切换)、重启还是停止。

测试配置的复选框和输入字段

如果选中该复选框,则可在此指定要使用的测试配置。在这种情况下,如果输入字段留空,则当前配置会被停止(若已启动)并取消选择。 更改测试配置时,新配置会在可能的情况下直接接管,而无需重新加载数据库或重启测试台架配置的所有工具。 其行为与手动选择配置时相同(参见 Selecting a configuration for use(选择要使用的配置))。 但与手动选择不同,为避免阻塞 Project 执行,这里不会显示对话框。 如果未选中该复选框,则使用当前已选中且可能已启动的测试配置。

测试台架配置的复选框和输入字段

如果选中该复选框,则可在此指定要使用的测试台架配置。在这种情况下,如果输入字段留空,则当前测试台架配置会被停止(若已启动)并取消选择。 如果未选中该复选框,则使用当前已选中且可能已启动的测试台架配置。

工具动作列表

可在此为测试台架配置中的每个工具指定切换配置时的动作。可用的工具动作如下:

  • Automatically (default)(自动,默认):如果在 Change configuration 步骤中更改了 TBC 或 TCF,工具会在切换配置期间停止,并在必要时重新启动。是否重启取决于 Test bench configuration editor(测试台架配置编辑器) 中定义的启动模式,以及 Test configuration editor(测试配置编辑器) 中是否引用了该工具的某个端口。如果 TBC 和 TCF 都未更改,则工具保持启动状态。

  • (Re-) start(启动/重启):如果工具处于停止状态,则启动该工具。如果工具已经启动,则将其重启。

  • Start (no restart)(启动,不重启):如果工具处于停止状态(灰色)或错误状态(红色),则启动该工具。如果工具已经启动(绿色),则保持启动状态。只有在“Change configuration”步骤中未更改测试台架配置时,才可使用此选项。

  • Stop(停止):工具将停止或保持停止状态。

  • None(无):不对该工具执行任何操作。

信息

测试台架配置中为工具分配的优先级,以及由此产生的工具启动和停止顺序,会在以下情况下生效:

  • 启动已选中但尚未启动的配置。

  • 通过更改测试配置或测试台架配置,先停止当前活动配置,然后启动新配置。

  • 设置了强制重启配置的选项。

在所有其他情况下,工具的启动和停止顺序未定义。

Project 编辑器工具栏

主工具栏

主工具栏将常用 Project 操作归入紧凑的功能区域。

Main toolbar in the project editor

Project 编辑器中的主工具栏

Project execution(Project 执行)

执行区域用于启动常规和交互式的 Project 运行,并提供各种执行 变体,例如不进行 Trace 分析的执行。更多详细信息,请参见 执行和 交互式执行章节。

Check Project

检查 Project 的一致性,例如所有引用的 Package 是否存在。另请参见 检查 Project。

查看与编辑

视图区控制 project step 的展开状态。编辑区为已有的 step 提供剪切、复制和 粘贴等标准操作。

文件操作

文件操作可创建、打开和保存 Project,包括将 Project 另存为模板。

Project 过滤器

过滤器字段直接在编辑器中应用 Project Filter。

Project 元素工具栏

左侧的 Project 元素工具栏可用于快速插入 Project 元素。

Project element toolbar in the project editor

用于插入 Project 元素的工具栏

根据当前上下文,可以插入文件夹、Package 和 Project 引用、 配置切换、Parameter Set 以及生成器元素。详细概念参见 Package reference、Project reference、Configuration change、 Parameter set、Parameter generator、Package generator 和 Project generator 章节。

导入和导出

可通过菜单 File ‣ Import ‣ Project 或 File ‣ Export ‣ Project 导入或导出 Project。

如果将 Project 导出为归档文件,则会把 Project 执行所需的所有元素打包到一个文件中。 这包括所有被引用的 Package 和 Project(包括相对列表结构)、所使用的测试配置和测试台架配置,以及 Project 文件本身。

Info

来自库 Workspace 的工件不会包含在 Project 归档中。

如果重新导入这样的 Project 归档文件,这些元素会再次添加到 ecu.test 列表中。 如果文件已存在,系统会询问用户是中止还是覆盖 Workspace 内容。 通过导入生成的 Project 所对应的测试配置和测试台架配置,可按照 Using configurations(使用配置) 进行选择。

过滤 Package

通过在 Main toolbar 的文本控件中输入过滤表达式, 可以根据名称以及所引用 Package 中定义的属性过滤当前 Project 中的 Package references。被过滤的 Package 不会被执行。输入过滤表达式时会提供自动补全。 由于所有 Package 属性都是字符串,比较值也必须是字符串,并放在 单引号中。

按 Package 引用名称搜索

"Testcase123" --> ["Testcase123"]
"Testcase1?3" --> ["Testcase123"]
"Testcase*"   --> [Testcase123, Testcase236, Testcase366, Testcase499]

扩展过滤语言的详细定义见 Filter(过滤器) 章节。

执行

Project 执行可通过符号 img_playprj(位于已加载 Project 上方的 主工具栏 中)启动,也可通过上下文菜单 Execute from here 启动。随后 ecu.test 会逐一执行所输入的 Package(包括其参数,如有),并创建 相应的测试报告。执行期间,Project 窗口会显示已完成的 Project 的结果。这样即可持续了解 Project 执行的进度。

通过 Project 执行图标旁边的黑色箭头,可以选择执行 Project 时是否包含 Trace 分析。也可以在并行实例中执行分析作业。

  1. Run project(执行 Project,测试用例 + 分析作业)

  2. Run project without executing analysis jobs(执行 Project 但不执行分析作业,仅测试用例)

  3. Run project and execute analysis jobs in parallel(执行 Project 并并行执行分析作业,测试用例 + 在并行实例中的分析作业)

  4. Run project with downstream analysis job execution(执行 Project 并在下游执行分析作业)

  5. 运行/继续 Project 的 selective execution

  6. 在不执行分析作业的情况下运行/继续选择性 Project 执行

  7. Run only trace analyses(仅执行 Trace 分析,仅分析作业)

  8. Run only trace analyses in parallel(仅并行执行 Trace 分析,仅在并行实例中执行分析作业)

对于并行执行,会在后台额外运行一个 ecu.test 实例来执行分析作业。

../../_images/Projektausfuehrung.png

执行对话框左侧区域显示 Project 元素和当前执行进度。显示 Package 执行进度的对话框中间和右侧部分在 here(此处) 进行了说明。

执行期间,对话框底部会显示跳过当前 Project 元素、在当前元素后中止以及立即中止的按钮。

执行完成后,这些按钮会被替换为 open the test report(打开测试报告) 和关闭执行对话框的按钮。

信息

Project 执行期间显示的总体结果对应的是整个 Project,而不仅仅是当前 Package,并且会在 Package 运行后更新。

信息

用于停用自动滚动的按钮同样会影响 Project 执行期间对 Project 元素概览的显示。

交互式执行

点击图标 img_playprjint 后,Project 将以交互模式执行。包含被标记为交互式测试步骤的 Package 将在用户交互视图中执行。更多信息请参见 Interactive testing(交互式测试)。

通过交互式 Project 执行图标旁边的黑色箭头,可以选择执行 Project 时是否包含 Trace 分析。也可以在并行实例中执行分析作业。

检查 Project

命令 Check project 会检查当前 Project 及其包含的所有 Package、生成器和子 Project。

对于用户自定义生成器,会调用 Check() 方法,生成器可返回描述现有问题的文本。

所有子 Project 及其下级子 Project 都会被递归检查。

信息

也可以实现自己的项目检查。借助这些自定义检查,还可以在上下文菜单中 提供自己的修复建议,并直接在同一检查对话框中应用。为此,可以在启动 ecu.test 时 将随附的示例复制到 Workspace 中。 接口包含在 ecu.test Interface Python Library ecutest-interface 中。 自定义项目检查可放在 Workspace 中的 UserPyModules 下, 以便 ecu.test 识别它们。 完整概览请参见 Custom checks。

评估

Project 执行完成后,点击按钮 Report,即可在 Report viewer(报告查看器) 中打开评估结果。

信息

如前文在 Parameter set(参数集) 一节所述,可以通过参数集对 Package 引用进行参数化。参数集所做的每项修改都可在相应 Project 步骤的详细报告中查看。该概览包含已定义参数和全局常量,以及附加的常量定义文件。

单独显示的“(Default)”表示某个 Package 参数是否被覆盖。该附加标记表示相应参数未被覆盖,而是使用了默认值。