Trace step templates for video analysis(用于视频分析的 trace step 模板)

在 ecu.test 提供的标准模板中,可在 Multimedia 文件夹中找到以下用于视频信号分析的模板:

下文将结合示例分析任务说明这些模板的用法。


Finding black frames in a video(查找视频中的黑帧)

任务

需要检查视频信号是否包含黑帧。这类黑帧表示视频传输期间发生了错误,因此应判定为 FAILED。

解决方案

模板 CalculateBrightness 会为视频的每一帧计算亮度,取值范围为 0 (完全黑图像)到 1(完全白图像),并将所有帧的亮度值写入输出信号 Brightness。随后可使用触发块检查亮度是否低于某个阈值,例如 0.05。

在视频分析中生成报告时,可使用模板 ReportFramesAtStartTrigger。按默认参数化时,它会将触发区间开始处有效的视频帧插入报告;在本例中,就是亮度小于 0.05 的第一帧。由于黑帧本身在报告中的信息量较低,建议将参数 FrameOffset 从 0 改为 -1,这样报告中显示的就是黑帧出现前的最后一帧。或者,可将其设为 (-1, 0, 1),从而同时报告黑帧及其前后相邻帧。再相应设置参数 Verdict,即可将所有黑帧发现结果评定为 FAILED。

../../../../../_images/CalculateBrightness.png

如果分析的视频是通过拍摄显示器得到的,那么即使画面内容完全为黑色,也很可能会被采集成深灰色区域。在这种情况下,应相应提高阈值。此外,显示器边框等周边元素也可能一并被采集进来,但这些内容对实际分析无关甚至会造成干扰。此时可使用 Mask 参数,将亮度计算限制在图像的相关区域内。在 ReportFramesAtStartTrigger 中也可以指定相同的 mask,以便在报告中的图像上绘制该区域。

分析完成后,可在 trace.xplorer 中查看结果。在那里可以将亮度曲线与视频信号并排显示,跳转到黑帧位置,并在需要时逐帧检查。

../../../../../_images/CalculateBrightness_Trex.png

Locating GUI icons in a video(在视频中定位 GUI 图标)

任务

需要检查某个用户界面的视频中是否出现了特定图标,这些图标以参考图像的形式保存。

解决方案

模板 FindImage 适用于此类任务。该模板的参数化方式与类 Image 中用于单张图像分析的同名函数 FindImage(查找图像) 类似。除参考图像外,还必须指定一个介于 0 和 1 之间的阈值,用于确定图像与参考图像相似到何种程度才算匹配。阈值为 1 时只查找完全一致的匹配;而在视频中,由于压缩伪影的影响,即使用 frame grabber 采集,这种情况也极少出现。通常,0.9 及以上的值能够在忽略噪声和压缩伪影的同时,找到帧中高度相似的区域;默认值为 0.98。

该模板以两个输出信号的形式提供结果,这两个输出信号都可以按需连接:

  • 信号 Contains 返回每一帧中的匹配数量。该信号可用于评估,或用于制定触发条件以调用后续分析。在最简单的情况下,表达式 Contains 就足以检查视频中是否至少找到了参考图像一次。表达式 RisingEdge(Contains) 可用于检查是否新增了一次匹配。

  • 信号 Matches 与 Image.FindImage 类似,会为每一帧提供一个 MatchList [ ImageMatch ],可从中获取各个匹配的详细信息。尤其是,该输出信号可以继续传递给模板 ReportFramesAtStartTrigger,从而在报告中将匹配结果可视化。为此,可将模板 ReportFramesAtStartTrigger 的参数 MatchColor 设置为一种与视频图像内容反差明显的颜色值,用于在找到的匹配周围绘制边框。

为了将图像搜索限制在视频帧的局部区域内,可以向模板 FindImage 传入一个 mask。需要注意的是,也必须将相同的 mask 传递给模板 ReportFramesAtStartTrigger,以确保对找到的匹配进行正确可视化。


Speeding up video analyses(加速视频分析)

动机

图像处理操作通常非常消耗 CPU。由于这些操作会在视频分析中的大量单独帧上执行,分析运行时间很快就可能增长到不可接受的程度。可采取以下措施应对:

  • Masking(掩码)

    上述模板都支持通过 mask 将图像处理限制在视频帧的某个区域内。这既可以基于视频分析的内容需求来设置,也可以用于优化运行时间。


  • Triggering(触发)

    不同图像处理操作在运行时间上有时差异很大。例如,使用 FindImage 搜索子图像,通常明显慢于使用 CalculateBrightness 计算亮度。因此,可以考虑将 FindImage 步骤放入触发块中,仅当目标图像区域的亮度表明可能存在匹配时才执行。


  • Data reduction(数据缩减)

    图像处理操作的运行时间通常与待处理图像数据量直接相关。因此,模板 ReduceVideo 提供了多种数据缩减方式:

    • 通过指定缩放因子或明确的目标尺寸,可以减小单个视频帧的大小,而且效果非常明显。例如,将边长减半会把图像大小减为四分之一,通常也会以相近幅度缩短图像处理操作的运行时间。不过需要注意的是,参考图像等内容也必须按相同比例缩放。

    • 通过指定较低的帧率,也可以缩短后续分析的运行时间。如果被测时间条件不要求保留原始视频信号的帧率,就可以采用这种优化方式。

    • 通过将所有视频帧高效地转换为灰度图像,通常可以获得约 3.5 倍的加速,因为这样不仅将数据量减少到原来的三分之一,还省去了按颜色通道汇总结果得到总体结果的计算开销。


    模板 ReduceVideo 会在报告文件夹中创建一个缩减后的视频文件,并输出对应的视频信号。需要注意以下几点:

    • 出于技术原因,该模板会忽略触发区间。它始终处理完整的输入视频,并写出一个缩减后的输出视频。

    • 写出输出视频时会再次使用有损压缩,因此可能产生额外的压缩伪影。