The Interface between test and trace analysis(测试执行与 Trace 分析之间的接口)¶
测试执行与 Trace 分析彼此独立,可以分别执行。
两者之间的接口是 analysis job。
借助 analysis job,可以将 Trace 分析从其原始测试中解耦并单独执行。 analysis job 可以在稍后处理,甚至在另一台计算机上处理,参见 Subsequent Execution of analysis jobs(后续执行 analysis job);也可以与正在运行的测试 Project 并行处理,参见 Project execution(Project 执行)。
analysis job 存储在扩展名为 .ajob 的 XML 文件中,包含以下信息:
对测试包中 Trace 分析的引用
对分析所需测试配置的引用
对待分析 Trace 的引用
信号 Mapping 和绑定
可选的已提供 Trace 同步声明
一组参数值
test case 中的某些事件会在特定情况下阻止 Trace 分析执行,也会阻止前序 Trace 同步,尤其是测试步骤 Exit(退出) 和 Return(返回)。 下表概述了哪些情况下不会执行 Trace 同步和 Trace 分析。
test case 中的事件 |
同步 / Trace 分析 |
|---|---|
由于某个测试步骤结果为 INCONCLUSIVE 或更差,导致前置条件中止 |
否 |
由于测试步骤 Exit(退出)(选项“Abort test”)导致前置条件中止 |
否 |
由于测试步骤 Exit(退出)(选项“End test”)离开前置条件,与结果无关 |
否 |
由于测试步骤 Return(返回)离开前置条件,与结果无关 |
否 |
前置条件之后,由于测试步骤 Exit(退出)(选项“Abort test”)导致 test case 中止 |
否 |
前置条件之后,由于测试步骤 Exit(退出)(选项“End test”)离开 test case,与结果无关 |
是 |
前置条件之后,由于测试步骤 Return(返回)离开 test case,与结果无关 |
是 |
Generation of analysis jobs during test runs(测试运行期间生成 analysis job)¶
analysis job
会在测试运行期间自动生成,并存储在报告目录中。
在测试报告中,analysis job 的生成会在 Package 末尾通过测试步骤“Analysis job”记录下来。
关于 analysis job 生成机制的更多细节,参见 Specifics on the creation of analysis jobs(analysis job 创建细节)。
Test execution with analysis job execution(执行测试时同时执行 analysis job)¶
在 Package 编辑器的 Play 按钮中选择“Run test case and trace analysis (F9)”时,会先执行 test case。 在 test case 中生成的 analysis job 随后会自动执行。
Test execution without analysis job execution(执行测试但不执行 analysis job)¶
在 Package 编辑器的 Play 按钮中选择“Run test case (Ctrl + F9)”时,只执行 test case。 这种测试运行过程中仍会创建 analysis job,但不会自动执行。
生成的 analysis job 之后可以手动执行,参见 Subsequent Execution of analysis jobs(后续执行 analysis job)。
Test execution with downstream analysis job execution(执行测试并在下游执行 analysis job)¶
参见 Project execution with downstream analysis job execution(Project 执行并在下游执行 analysis job)。
Trace analysis execution without test execution(不执行测试而仅执行 Trace 分析)¶
在 Package 编辑器的 Play 按钮中选择“Run trace analysis only (Ctrl + F8)”时, 会针对手动添加到 Signal recordings 下的 Trace 执行 Trace 分析。 该操作独立于实际的 test case。
Project execution(Project 执行)¶
Project execution with analysis job execution(Project 执行时同时执行 analysis job)¶
在 Project 编辑器的 Play 按钮中选择“Run project (F9)”时,会执行 Project。 Project 中某个 Package 完成测试执行后,在继续下一个 Package 之前,会自动执行刚创建的 analysis job。
Project execution without analysis job execution(Project 执行但不执行 analysis job)¶
在 Project 编辑器的 Play 按钮中选择“Run project without executing analysis jobs (Ctrl + F9)”时,只执行 Project 中的 test case。每个 Package 内仍会创建 analysis job,但不会自动执行。
生成的 analysis job 之后可以手动执行,参见 Subsequent Execution of analysis jobs(后续执行 analysis job)。
Project execution with parallel analysis job execution(Project 执行时并行执行 analysis job)¶
项目编辑器中 Play 按钮的条目 “Run project and execute analysis jobs in parallel (Ctrl + Shift + F9)” 会 运行该 Project。在每个 Package 内创建的分析作业会在单独的后台 进程中依次执行,并与正在进行的 Project 执行并行运行。
Project execution with downstream analysis job execution(Project 执行并在下游执行 analysis job)¶
对于下游分析,会先在本地执行 test case 并创建 analysis job。 随后,test.guide 会将这些 analysis job 分发到已配置的分析主机上,以提高执行效率。 下游分析需要满足以下条件:
必须在 ecu.test 中配置 test.guide。
执行该 Project 的 Workspace 必须已纳入版本控制。
必须为下游分析配置 test.guide:
必须在 Test execution - Settings 下配置下游分析。
必须启用下游分析。
必须选择工件上传策略。
必须在 test.guide 中将 SCM 仓库配置为 SCM tool。
需要一台通过 ResourceAdapter 连接到 test.guide 的分析主机。 必须在 Configurations-Plugin 中将该 ResourceAdapter 配置为 XIL 类型“Analysis”。
Execute trace analyses only(仅执行 Trace 分析)¶
在 Project 编辑器的 Play 按钮中选择“Execute trace analyses only”时,只执行 Project 中各个 Package 的 analysis job。请注意,此时仅检查 Trace 分析的内容。 test case 中诸如测试步骤“Add Trace”或 test case 变量 Recording 等元素会被完全忽略。
Documentation of analysis jobs within the test report(测试报告中的 analysis job 记录)¶
每个已执行的 analysis job 都会生成一份单独的报告。如果某个 analysis job 是从测试运行中自动执行的 (无论来自 Package 还是 Project),则为该 analysis job 创建的报告会合并到其来源测试执行的总测试报告中。
合并成功后,单独的 analysis job 报告会被删除,以保持 Project 报告目录整洁。 这些报告的自动删除可以在设置中禁用,参见 Settings for test execution(测试执行设置)。
如果某份测试报告在测试执行过程中生成了 analysis job,则其中会为每个生成的 job 包含一条记录。 在 Report Viewer 中,每条记录都显示在单独的导航树节点“analysis jobs”下。 单击某个 job 后,会在 Report Viewer 右侧显示该 job 的报告。 如果测试报告和分析报告尚未合并,则该 analysis job 会标记为“Inconclusive”。
如果 analysis job 是后续执行的,系统会自动向该报告项添加带有生成注释的后评估。 这些后评估注释用于跟踪同一个 analysis job 的多次后续执行及其结果。
Subsequent execution of analysis jobs(后续执行 analysis job)¶
Manual execution of analysis jobs(手动执行 analysis job)¶
安装 ecu.test 时会注册扩展名 .ajob。在 Windows Explorer 中双击此类 analysis job 文件, 即可打开 ecu.test 并显示 analysis job 对话框。 也可以在 ecu.test 中通过 直接打开该 job。
analysis job 对话框会列出该 job 中的所有关键信息,并提供 Play 按钮来触发 此 job 的执行。执行完成后,Report Viewer 会打开并显示生成的 analysis job 报告。
Execution of analysis jobs after execution of packages or projects out of the test report(在测试报告外执行 Package 或 Project 生成的 analysis job)¶
在测试运行期间自动生成的 analysis job,可以随后从测试报告中反复执行。 无论这些 analysis job 之前是否已经执行过, 参见 Test execution with analysis job execution(执行测试时同时执行 analysis job)、Project execution with analysis job execution(Project 执行时同时执行 analysis job) 或 Project execution with parallel analysis job execution(Project 执行时并行执行 analysis job);或者尚未执行过, 参见 Test execution without analysis job execution(执行测试但不执行 analysis job) 或 Project execution without analysis job execution(Project 执行但不执行 analysis job)。
可以通过以下方式启动 analysis job 的后续执行:
After execution of a package(执行 Package 后) 在 Package 编辑器中,打开 Play 按钮的下拉菜单并选择 “Run trace analysis from current test report (F8)”。 同一功能也可以在测试报告中通过右击主 Package 并选择上下文菜单项 Execute analysis jobs 来使用。
analysis job 执行完成后,其结果会集成到该 Package 的测试报告中。 之前的评估也会相应更新,参见 Documentation of analysis jobs within the test report(测试报告中的 analysis job 记录)。
After execution of a project(执行 Project 后) 可以通过右击主 Project 并选择 Execute analysis jobs 来执行全部 analysis job。 也可以右击某个单独的 analysis job,并选择上下文菜单项 Execute analysis job 来单独执行。
analysis job 执行完成后,其结果会集成到该 Project 的测试报告中。 之前的评估也会相应更新,参见 Documentation of analysis jobs within the test report(测试报告中的 analysis job 记录)。
Single analysis jobs(单个 analysis job) 也可以单独执行 (上下文菜单项 Execute analysis job)。
这种情况下,结果不会集成到原始测试报告中。 系统会改为打开一份仅包含该单个 analysis job 报告的新报告。
在开发分析内容时,经常需要反复重新执行同一分析,因此这种方式尤其有用。
Specifics on the creation of analysis jobs(analysis job 创建细节)¶
Automatic creation of analysis jobs(自动创建 analysis job)¶
创建的 analysis job 数量取决于多个因素:
测试包中已定义的 Trace 分析数量
各 Recording 组中已记录的 Trace 数量
Trace 分析定义中是否存在基于流的 Trace 步骤模板
对于每个 Trace 分析,适用以下规则:
如果 Trace 分析中没有激活的基于流的 Trace 步骤,则表示:
创建的 analysis job 数量,恰好等于 Recording 数量最少的 Recording 组中的 Recording 数量。
如果 Trace 分析中至少有一个激活的基于流的 Trace 步骤,则表示:
创建的 analysis job 数量,恰好等于 Recording 数量最多的 Recording 组中的 Recording 数量。
如果某个 job 并非所有 Recording 组都包含 Trace,则该 job 会以仅基于流的模式执行,也就是说只执行 Trace 分析中基于流的 Trace 步骤。
日志 Recording 组中的 Trace
在创建 analysis job 时,日志 Recording 组与信号 Recording 组的行为不同。 来自日志 Recording 组的所有 Trace 都会传递给由该 test case 创建的第一个 Trace 分析 job。 此外,只有当 Trace 分析中包含至少一个基于流的 Trace 步骤时,才会发生这种情况,因为只有基于流的 Trace 步骤才能处理日志 Recording。
Explicit creation of analysis jobs(显式创建 analysis job)¶
作为自动创建 analysis job 的替代方案,也可以使用工具 Enqueue analysis job(将 analysis job 入队) 来显式创建。 与自动机制相比,该工具提供了更高的控制能力, 并支持实现条件化的 Trace 分析。