进程隔离使用说明

背景与目的

出于以下原因,应提供一种机制,用于在单独的进程中执行用户提供的 Python 代码(下文称为“用户代码”):

  • 提高 ecu.test 的稳定性,因为独立进程之间不会相互影响(例如编程错误、库缺陷、性能问题或内存问题等)

  • 在需要不同版本或特殊适配,或者这些库会强烈影响运行时环境和/或其他库时, 使用 ecu.test 中已存在的库

  • 通过将 ecu.test 代码与用户代码恰当分离,实现更好的模块化。 这种方法也有助于迁移到 Python 3。

  • 使用不同的解释器(例如 32 位 Python、Python 3)

  • 利用多个 CPU 内核实现真正的并行化

用户代码会在 ecu.test 的多个区域中执行。 部分 existing extension points(现有扩展点) 与 ecu.test 深度耦合。 因此,无法以透明且自动的方式让现有用户代码在独立进程中运行。为此,可按照以下说明改造现有用户代码,或以支持独立进程执行的方式开发新代码。

何时应将用户代码移至独立进程?

从用户角度看,在以下情况下通常都应执行这一步:

  • 内存中需要长期保留大量数据

  • 需要使用与 ecu.test 自带版本冲突的其他 Python 库版本

  • 需要使用不同或特定版本的 Python

  • 预期所用库或用户代码本身可能因缺陷而崩溃

  • 使用 Python 扩展或 C/C++ 库,且其异常处理机制不符合 ecu.test 的预期,可能因未处理错误导致程序崩溃

架构概览

../../_images/ProcessSeparation_Architecture.png

需要考虑哪些限制?

另一个进程中的数据将无法再“直接访问”,而必须显式传输。大量数据在传输时可能较慢,且/或占用较多内存。因此,应合理选择“内部”执行与“外部”执行的代码边界,尽量减少进程间数据交换(例如只传递参数、状态和结果,而不是大量中间结果)。

如果使用自定义解释器,ecu.test 提供的库和数据类型在执行脚本的外部进程中将不可用。因此,在 ecu.test 与独立进程中执行的代码之间交换数据时,必须使用 Python 基础数据类型。

本示例 Workspace(工作区)中提供的 ApiProxy.py 文件可使独立执行的进程访问 ecu.test 的 Internal API(内部 API)。 此外,还可以使用 COM API(COM API) 和 Object API(对象 API)。

注意

随附的 ApiProxy.py 提供的 API 并不具备 ecu.test 的 Internal API 的完整功能。用于提供 ApiProxy 接口的 Python 库 xmlrpc 仅支持以字符串作为 Python 字典的键。部分 BusBrowser 方法提供可选参数 numbersAsStrings 以规避此问题。

转换步骤

要让现有用户代码利用进程隔离,可按以下步骤操作:

  1. 识别并/或创建分界线:

    • 决定哪些代码部分在独立进程中运行,哪些在 ecu.test 主进程中运行

    • 需要在独立进程中运行的代码必须封装为函数或方法 (而不是较大函数/方法中的一段代码)

    • 函数的参数和返回值应尽量保持为小对象,并且只使用以下类型:

      • 基础数据类型:int、float、str、unicode、NoneType

      • 聚合类型:list、set、tuple、dict

        • 允许任意层级嵌套

      • 不要使用自定义类,也不要使用 ecu.test 数据类型 (Map、Curve、Matrix、ByteStream 等)

        • 应将相关属性改为放入元组或字典中

      • 不要使用库类

        • 如果因某些原因无法改用元组或字典, 可以使用 pickle 模块在对象与字符串之间进行转换。

  2. 将 UserProcess 包加入 PYTHONPATH

    • 在 ecu.test 的 Python library 设置中,如果尚未指定文件夹,请先配置一个初始为空的文件夹。

    • 将 UserProcess 文件夹复制到该指定目录中

    • 如有需要,也请复制 ApiProxy.py 文件

  3. 将需要在独立进程中执行的程序代码移入其各自独立的 *.py 文件中

    • 它不得直接包含在 function 变量、UserPyModule,或 报告、Project/Package/Parameter 生成器、UserUtility 或 UserTool 中,而必须 独立于这些对象,存放在单独的 *.py 文件中。

    • 原先直接调用程序代码的位置,需要创建一个 ProcessSeparator 实例,并使用 CallAsynchronous 或 CallSynchronous(可参考 ProcessDataInOtherProcess.py 或 TwoSubProcessesWithFunctionVariable.pkg 中的示例)

      • 根据独立进程是使用 ecu.test 的内部 Python 解释器还是自定义解释器执行,需要将目标 python.exe 的路径传给 ProcessSeparator 构造函数。默认值为 None,表示使用 ecu.test 的内部解释器。

        注意

        若要使用外部 Python 解释器,则其 Python 环境中必须安装 tblib(tblib 库)。

  4. 如果在独立进程中运行的模块需要访问 Internal API(内部 API),请加入以下 Python 代码:

    from ApiProxy import ApiProxy
    api = ApiProxy()
    

    加入这两行后,即可像在 ecu.test 内部一样正常使用 api.*。

    访问 COM API 和 Object API 无需特殊步骤。 其他 ecu.test API(例如 Report API)无法从独立进程访问。 任何对此类 API 的访问都必须在不在独立进程中运行的 代码部分中进行。

  5. 如果预期某个异步调用的函数中可能抛出异常,可按如下方式进行可选扩展,以避免错误被静默吞掉:

    def myFunction(...):
        try:
            # original implementation of the function
    
        except Exception:
            import traceback
            traceback.print_exc()
    

    这样可以使函数内发生的任何异常至少记录到 ECU_TEST_ERR.log 中,而不是被静默忽略。 同步调用该方法时,异常会传递给调用方,因此 不需要这类处理。

示例

示例 Workspace(工作区)中包含用于演示该用法的 Package(测试包)和 Python 代码。