Test execution(测试执行)

../_images/Packageeditor_MenuPanel.png

ecu.test 提供了测试执行功能。除清晰的执行窗口外,还提供调试器和检查模块,后续章节会对此作更详细的说明。

各执行模式下的 Trace analysis 行为,详见 The Interface between test and trace analysis(test 与 Trace analysis 之间的接口)。

Execute package(执行 Package)

../_images/Packageeditor_Run.png

可以通过按钮栏中的相应按钮启动 Package 和 Trace analysis 执行。使用按钮旁的黑色箭头,可以选择仅启动 Package 执行或仅启动 Trace analysis 执行。

Package 执行期间显示的对话框如下图所示:

../_images/PackageAusfuehrung.png

该对话框由三个主要区域组成。

  • 上方区域显示当前执行运行时间和活动执行步骤。执行由三个主要部分组成:Test case(test case)、Trace analysis(Trace analysis)以及 report creation(生成报告)。

  • 在 test case 执行期间,左侧区域显示已执行主 Package 的概览,其中包括已执行步骤的评级结果。当前活动步骤会被高亮显示。

  • 右侧区域显示调用栈。它由当前执行的 test step 以及到达该 test step 路径上的所有子 Package 组成。

左下角的按钮可用于打开实时日志(将 Message window(消息窗口) 作为独立窗口打开),并关闭 Package 概览中的自动滚动。

执行的当前总体结果以及中止执行的按钮位于右下角。

Run test case and trace analysis(执行 test case 和 Trace analysis)

此按钮会启动 test case 和 Trace analysis 执行。

Run test case and trace analysis parameterized(参数化执行 test case 和 Trace analysis)

ecu.test 支持使用特定变量赋值执行任意 test case。启用相应按钮后,会打开一个对话框,其中清晰列出所有已定义变量。在该对话框中,可以按需调整变量值。

../_images/Packageeditor_ParamDlg.png

单击 OK 后,即可确认当前赋值,并按所需变量赋值执行该 test case。

Info

如果给定 Package 中未定义任何变量,则不会显示参数化对话框。

Run test case(执行 test case)

此按钮会启动 test case 执行。Trace analysis 的 analysis job 会被创建,但不会执行。

通过 test.guide 调度

借助 Schedule with test.guide,可以通过 test.guide 的执行分发在选定的测试台架上运行本地编辑的 Package。 这样可以在开发期间更快地测试本地更改,而不会阻塞测试台架。

Info

建议在 Offline 模式下启动配置。这样可以确保 ecu.test 不会与测试台架建立连接并占用它。

该功能基于 Git 工作流。本地更改会被推送到一个功能分支,以便 可以在其上运行执行任务。本地工作区状态保持不变。

Features:

  • 为功能分支选择本地更改。

  • 其他 Package 引用会自动识别。

  • 选择要使用的配置,以及执行后是否应在测试 台架上关闭 ecu.test。测试台架上使用的配置本身保持不变,即配置的本地 更改不会推送到功能分支。

  • 在特定测试资源计算机上执行,或针对特定 XIL/Type 执行。

  • 收藏夹可简化重复执行。

  • 功能分支始终遵循 schedule-test-guide/<package name>_<date and time> 格式 (例如 schedule-test-guide/my_package_20260723-170500)。

  • 创建的 feature branch 仅在本地删除,仍保留在远程仓库中。 使用 Actions… 按钮可以一次性删除所有远程 feature branch。

Requirements

  • Workspace 受 Git 版本控制。ecu.test 必须能够通过 Git 创建并推送 feature 分支。

  • 需要预先在 ecu.test 与 test.guide 之间配置好连接(Workspace 设置 test.guide reports)。

    • 使用默认连接中的 uploadAuthenticationKey 和 projectId 值。

    • auth key 需要具有创建执行任务的权限。

    • 要查询 Test Resource Machines,需要监控数据的读取权限。

Info

扩展的 Git 仓库规则可能会拒绝推送特性分支。

用例 1:GitHub 规则“Require linear history”

由于特性分支仅用于执行,应使用排除模式将其排除在此规则之外。 例如:schedule-test-guide/*。

使用场景 2:提交消息规则

默认情况下,ecu.test 会将功能分支上的所有本地更改创建为一个提交。 与用例 1 一样,你可以使用排除模式,或相应设置 ECUTEST_SCHEDULE_TG_COMMIT_MESSAGE_PREFIX 环境变量,使生成的提交消息满足该规则。

Run test case and run trace analysis downstream(执行 test case 并在后续运行 Trace analysis)

详见 Project execution with downstream analysis job execution(带后续 analysis job 执行的 Project 执行)。

Run trace analysis from current test report(从当前 test report 运行 Trace analysis)

此选项可从当前报告重新运行各项分析。

Run trace analysis separately(单独运行 Trace analysis)

此按钮会启动 test case 和 Trace analysis 执行。由于不会执行任何 test case,因此只会分析 recording 组中手动添加的 Recording。

Run package interactively(交互式执行 Package)

../_images/Packageeditor_RunInteractive.png

通过此按钮可在交互模式下执行 Package。这意味着标记为 User instruction 的块会显示在更大的窗口中,并由计算机语音朗读 action、parameter 和 expectation 的内容。此类块由测试人员手动执行。更多信息参见章节 Interactive testing(交互式测试)。

使用开始图标旁的小黑色箭头,可以在两种执行模式之间进行选择。

Run test case and trace analysis interactively(交互式执行 test case 和 Trace analysis)

此按钮会以交互模式启动 test case 和 Trace analysis。Trace analysis 不提供专门的交互功能,仍会像平常一样自动执行,无需用户交互。

Run test case and trace analysis interactively parameterized(交互式参数化执行 test case 和 Trace analysis)

此按钮结合了以下两项功能:

Run test case interactively(交互式执行 test case)

此按钮会在不执行 Trace analysis 的情况下启动 test case。如果不需要立即获得 Trace analysis 结果,并希望节省 Trace analysis 运行时间,建议使用这种方式。后续可通过菜单项 Run trace analysis separately(单独运行 Trace analysis) 再执行 Trace analysis。

Debug package(调试 Package)

../_images/Packageeditor_Debug.png

ecu.test 集成了调试器,可在出现问题时进行简单分析。

调试器通过“正常”测试执行旁边的按钮启动。其旁边的箭头可用于选择仅执行测试,或同时执行 Trace analysis(如果存在)。

启动调试器后,执行过程与正常启动相同,但只运行到第一个断点。从那里开始,可以通过多个选项控制后续执行:

  • 继续执行,直到下一个断点

  • 调试引用(这意味着如果该步骤是一个 Package,则在被调用的 Package 中每一步都必须单独确认)

  • 仅执行下一步(然后等待下一次操作)。

../_images/Debugger.png

可通过 test step 的上下文菜单(右键单击 test step)设置或移除断点。断点会以 test step 上的红点表示(见下图)。

../_images/Debugger_Breakpoint.png

Evaluate test report(评估 test report)

test report 会提供在数据库中,并自动打开数据库视图以便分析。test report 会显示所有 test step 及其评估结果(SUCCESS、FAILED、ERROR)。评估结果要么通过表格行背景色显示(表示该 test step 具有该评估结果),要么仅通过彩色边框显示。后者表示该 test step 本身没有评估结果,但其下级 test step 带有评估结果,因此此处显示的是下级 test step 的评估结果(例如 Package 引用、块或 If-Then-Else 步骤)。

test report 的所有相关功能,详见 test report(test report)。

Test case coverage(test case 覆盖率)

使用 test case 覆盖率功能,可以在 test case 执行期间测量各个 test step 的行覆盖率,并在 Package 编辑器中进行可视化。

../_images/testcase_coverage.png
使用场景
  • 从质量管理角度创建覆盖率指标

  • 确定 test case 中尚未进入的分支,以便进行清理

  • 保护中央用户库(例如库 Workspace)

启用

要在测试执行期间测量覆盖率,必须先在 test configuration 中启用该功能:Test configuration ‣ Execution ‣ Test case coverage

将报告上传到 test.guide 时,关联的覆盖率文件也会自动一并传输。

使用方法

如果已在 test configuration 中启用覆盖率测量,则在执行 Package 或 Project 时会直接计算覆盖率。行覆盖率仅在 Package 内部可视化。

在 test case 执行结束后,可视化会直接应用到编辑器中所有已打开的 Package。

通过 Extras ‣ Coverage,可以加载其他覆盖率文件并重置可视化。

也可以通过 Extras ‣ Coverage ‣ Load coverage files from test.guide via filter… 从 test.guide 加载覆盖率文件。为此,test.guide 中必须存在一个包含相关报告的 Project 过滤器。随后通过指定该 Project 过滤器 ID,即可加载过滤后报告中包含的全部覆盖率文件。

Important

必须先配置 Connection to test.guide(test.guide 连接)。所使用的 test.guide 身份验证密钥必须属于具有该 Project 过滤器访问权限的用户。

生成覆盖率报告

通过 Extras ‣ Coverage ‣ Generate Coverage Report,还可以创建一个覆盖率报告,用于汇总当前已加载的全部覆盖率文件。将生成以下文件:

  • 一个包含合并后覆盖率数据的 XML 文件

  • 一个 HTML 文件,以图形方式展示某个 Workspace 内所有 Package 的 test step 覆盖率

  • 一个包含每个 Package 详细覆盖率信息的 JSON 文件

该 HTML 表示还支持在 test case 编辑器中打开 Package,并查看其 test step 覆盖率详情。

JSON 文件的模式定义位于安装目录下的 res/schemas。