进程隔离使用说明¶
背景与目的¶
出于以下原因,应提供一种机制,用于在单独的进程中执行用户提供的 Python 代码(下文称为“用户代码”):
提高 ecu.test 的稳定性,因为独立进程之间不会相互影响(例如编程错误、库缺陷、性能问题或内存问题等)
在需要不同版本或特殊适配,或者这些库会强烈影响运行时环境和/或其他库时, 使用 ecu.test 中已存在的库
通过将 ecu.test 代码与用户代码恰当分离,实现更好的模块化。 这种方法也有助于迁移到 Python 3。
使用不同的解释器(例如 32 位 Python、Python 3)
利用多个 CPU 内核实现真正的并行化
用户代码会在 ecu.test 的多个区域中执行。 部分 existing extension points(现有扩展点) 与 ecu.test 深度耦合。 因此,无法以透明且自动的方式让现有用户代码在独立进程中运行。为此,可按照以下说明改造现有用户代码,或以支持独立进程执行的方式开发新代码。
何时应将用户代码移至独立进程?¶
从用户角度看,在以下情况下通常都应执行这一步:
内存中需要长期保留大量数据
需要使用与 ecu.test 自带版本冲突的其他 Python 库版本
需要使用不同或特定版本的 Python
预期所用库或用户代码本身可能因缺陷而崩溃
使用 Python 扩展或 C/C++ 库,且其异常处理机制不符合 ecu.test 的预期,可能因未处理错误导致程序崩溃
架构概览¶
需要考虑哪些限制?¶
另一个进程中的数据将无法再“直接访问”,而必须显式传输。大量数据在传输时可能较慢,且/或占用较多内存。因此,应合理选择“内部”执行与“外部”执行的代码边界,尽量减少进程间数据交换(例如只传递参数、状态和结果,而不是大量中间结果)。
如果使用自定义解释器,ecu.test 提供的库和数据类型在执行脚本的外部进程中将不可用。因此,在 ecu.test 与独立进程中执行的代码之间交换数据时,必须使用 Python 基础数据类型。
本示例 Workspace(工作区)中提供的 ApiProxy.py 文件可使独立执行的进程访问 ecu.test 的 Internal API(内部 API)。
此外,还可以使用 COM API(COM API) 和 Object API(对象 API)。
注意
随附的 ApiProxy.py 提供的 API 并不具备 ecu.test 的 Internal API 的完整功能。用于提供 ApiProxy 接口的 Python 库 xmlrpc 仅支持以字符串作为 Python 字典的键。部分 BusBrowser 方法提供可选参数 numbersAsStrings 以规避此问题。
转换步骤¶
要让现有用户代码利用进程隔离,可按以下步骤操作:
识别并/或创建分界线:
决定哪些代码部分在独立进程中运行,哪些在 ecu.test 主进程中运行
需要在独立进程中运行的代码必须封装为函数或方法 (而不是较大函数/方法中的一段代码)
函数的参数和返回值应尽量保持为小对象,并且只使用以下类型:
基础数据类型:int、float、str、unicode、NoneType
聚合类型:list、set、tuple、dict
允许任意层级嵌套
不要使用自定义类,也不要使用 ecu.test 数据类型 (Map、Curve、Matrix、ByteStream 等)
应将相关属性改为放入元组或字典中
不要使用库类
如果因某些原因无法改用元组或字典, 可以使用
pickle模块在对象与字符串之间进行转换。
将
UserProcess包加入PYTHONPATH在 ecu.test 的 Python library 设置中,如果尚未指定文件夹,请先配置一个初始为空的文件夹。
将
UserProcess文件夹复制到该指定目录中如有需要,也请复制
ApiProxy.py文件
将需要在独立进程中执行的程序代码移入其各自独立的
*.py文件中它不得直接包含在 function 变量、UserPyModule,或 报告、Project/Package/Parameter 生成器、UserUtility 或 UserTool 中,而必须 独立于这些对象,存放在单独的
*.py文件中。原先直接调用程序代码的位置,需要创建一个
ProcessSeparator实例,并使用CallAsynchronous或CallSynchronous(可参考ProcessDataInOtherProcess.py或TwoSubProcessesWithFunctionVariable.pkg中的示例)根据独立进程是使用 ecu.test 的内部 Python 解释器还是自定义解释器执行,需要将目标
python.exe的路径传给ProcessSeparator构造函数。默认值为None,表示使用 ecu.test 的内部解释器。注意
若要使用外部 Python 解释器,则其 Python 环境中必须安装 tblib(tblib 库)。
如果在独立进程中运行的模块需要访问 Internal API(内部 API),请加入以下 Python 代码:
from ApiProxy import ApiProxy api = ApiProxy()加入这两行后,即可像在 ecu.test 内部一样正常使用
api.*。访问 COM API 和 Object API 无需特殊步骤。 其他 ecu.test API(例如 Report API)无法从独立进程访问。 任何对此类 API 的访问都必须在不在独立进程中运行的 代码部分中进行。
如果预期某个异步调用的函数中可能抛出异常,可按如下方式进行可选扩展,以避免错误被静默吞掉:
def myFunction(...): try: # original implementation of the function except Exception: import traceback traceback.print_exc()这样可以使函数内发生的任何异常至少记录到
ECU_TEST_ERR.log中,而不是被静默忽略。 同步调用该方法时,异常会传递给调用方,因此 不需要这类处理。
示例¶
示例 Workspace(工作区)中包含用于演示该用法的 Package(测试包)和 Python 代码。