零束SOA软件平台测试方案和实践

本文素材来源于上汽集团汽车域控制器技术网络研讨会

作者：零束科技 刘桢

SOA测试背景

SOA测试对象

零束SOA主要包括云管端一个整体的生态（见上图），测试对象可以分为一下几个方面：

1.手机端：即用户可以用来控制汽车的手机端，

2.车端：主要指OS以及OS上面的一些服务，包括应用

3.云端：包括一些计算架构和管理架构

4.IDE平台：基于IDE平台，业内的开发者或者极客，甚至最终的车端用户可以开发自己的应用，进而和车进行智能的交互

5.生态合作伙伴：在车的整体的服务和云端服务暴露之后，也可以提供给第三方的合作公司去做一些增值开发。

SOA测试背景

SOA测试范围

车端SOA服务：

1. SOA服务接口一致性

2. SOA服务S2S功能

3. SOA服务性能

4. 安全性测试

云端服务：

1. 接口测试

2. 性能和负载测试

3. 安全性测试

云管端闭环系统测试：

1. SOA系统功能如智能场景测试

2. 数据架构相关测试

3. 车云链路和同步测试

4. 开发者平台App发布测试

5. 安全性测试

车云同步VAL：

1. VAL交互协议测试

2. VAL性能

3. 安全性测试

开发者平台：

1. SDK接口测试

2. SDK功能测试

3. 开发者IDE测试

SOA测试范围见上，测试范围已经超过了SOA服务本身的范围，是整个生态的一个测试。目前零束已经将车上将近2000个服务接口暴露出来，包括各种服务通讯的计算，底盘服务等，同时还有一些云端服务以及各种暴露出来的服务。前文提到，除了这些服务之外，零束产品也包括各种应用，这些都是零束的测试对象。

SOA测试流程

传统的测试在项目前期容易出现几个问题：比如前期有可能硬件还没有开发到位，或者说硬件成本很高，再或者说需要比较大量测试环境，针对这些问题，零束提出虚拟ECU的概念，基于这个虚拟ECU，零束可以将软件与硬件最大程度解耦，使得软件开发/测试不再依赖于硬件，使得软件成为调试/被测对象成为可能，同是，软件开发与硬件开发可以最大程度的并行起来，大量节省时间及成本。

SIL测试环境架构

1. 远程实验室把SOA测试系统远程共享给内外部开发者。

2. 跟云端开发合作对接，在现有SOA测试台架基础上开发远程测试工具链路。

3. 远程实验室实现权限和设备管理、测试执行和状态管理以及报告和log反馈等功能。

SOA服务机制

简单来说，SOA是一个传统的基于IP的一个面向服务的架构，本质上就是client端和sever端做一个通讯。SOA服务主要有两种机制，一种是请求应答模式，应答模式就是我请求你给我开门——你应答说可以——门打开的一种模式。另一种是提交订阅式，英文为notification，就是我有变化——你告诉我的模式，提交订阅式分为field跟event两种，二者区别就是field不仅告诉你这个事情发生了，同时还会提供事情发生的一些数据；event就是我简单的告诉你，这个事情发生了，类似于定式的服务机制。

SOA服务测试

• 接口测试：以单个服务为测试对象，测试输入为服务详细设计

• 功能测试：以单个域控制器为测试对象，测试该域控制器中各服务实现的功能是否正确，测试输入为软件详细设计

零束SOA测试分为接口测试跟功能测试，重点关注Proveider端即Sever端测试。Sever端这些服务出来之后，利用测试工具，包括商业工具或者零束自行开发的工具，模拟consumer端和client端，去做各种的请求，验证它的返回值，比如返回的时间，比如数据和性能等等。如果是要测Consumer端的话，通过模拟Provider端做测试链路去测中间的服务。

SOA服务测试设计

• SOA平台功能复杂、系统庞大，接口测试的效果明显（提高测试效率，提升用户体验，降低研发成本）。

• 服务测试覆盖SOA服务的Provider和Consumer两端。越底层发现放入bug修复成本越低，优先保证服务Provider的覆盖率并执行高频率CI/CD测试。

• 除性能测试以外，大部分测试执行在SIL环境。SIL环境下的测试根据情况使用Mock方式构造Precondition。 

• 最终交付的acceptance测试和性能测试在HIL环境执行。HIL环境下尽量多的使用真实ECU模拟实际场景。

• 测试环境基于报文仿真软件、RF、SIL和HIL设备等创建。

基于测试经验，零束总结出在设计测试用例时需要考虑的重点

SOA车云一体服务和功能测试

• 测试内容为车端和云端整体服务接口的交互链路及功能（基于虚拟云端和整车SIL平台）

• 测试内容为车端和云端整体服务接口的交互链路及功能（基于真实云端和控制器）

零束SOA自动化测试框架采用Robert frameworkk框架，主要部分如下：商业报文仿真软件、ZoneSender等测试工具调度主要依赖于COM API及相关硬件驱动；UI和网页操作主要依赖于自动化库APPium和Selenium；云端交互主要依赖于kafka-python；CAN/LIN/SOMEIP信号仿真主要依赖于商业仿真软件和自研ZoneSender。同事，实施底层类库和车型项目的解耦，功能库和项目业务逻辑即插即用，在自动化框架里添加业务逻辑层，按域控封装和维护业务逻辑，以减轻上层测试脚本层的修改频率。在测试脚本层，使用业务关键卡法，添加项目配置项，做到跨项目和跨域控的软件集成测试和软件系统测试支持。

自研SOA测试工具

研发初衷：

1、SOA服务测试领域，市面有成熟的工具，但一套20W，无法满足开发、测试人手一个的需求；

2、市面成熟工具，仍时有不少阻塞测试的Bug，推动修改Bug耗时很长；

研发方向： 

1、脱离硬件盒子，仅用PC网口就能进行测试；

2、褪去繁重的软件框架，简单易懂的UI交互，所有配置项从Arxml自动读取，不用花半小时去配置复杂的工程；

3、结合自身需求开发用于自动化测试的API，在自动化测试时不用受限于已有的API；

4、不受限与Windows系统，Linux系统也可使用；

前文提到零束自行研发了SOA测试工具，为什么要自研工具，主要原因有两个，首先传统的商业工具功能复杂，而且价格昂贵，无法满足人手一个的测试需求，另一方面SOA的测试可能会遇到各种新的问题，自研工具可以方便自行修改以及自由添加所需要的新功功能。

SOA自动化测试执行

◼ SOA服务性能测试

◼ 场景强耦合的服务测试

◼ Consumer端测试

◼ App和生态相关测试

首先是SOA服务性能测试， SOA要支持智驾平台就需要各种远控的功能，性能就是一个重点内容；

其次是场景强耦合的服务测试，前文提到的提交订阅式，订阅式的服务往往与场景相耦合，比如所谓的导航功能，还有一些智驾相关的功能，比如说碰撞预警，这些服务测试需要画的成本或者对测试策略要求比较高；

第三是Consumer端测试，Provider端对服务有很明显的定义，而Consumer端是别人拿你的服务做开发，在测试时，只能结合服务场景，甚至需要跟功能做一下百合测试。基于零束的经验，Server端或者说是Provider端可以做全量测试，但是Consumer端只能部分做测试，另一部分可能根据功能做覆盖；

最后是APP和生态相关测试，包括零束甚至第三方的APP，还有云端了，零束有不同的合作伙伴，比如说现在京东，阿里，有可能是合作伙伴的功能对接到零束的平台里，那这个生态难免会要做测试，这也是一个比较有挑战的地方，那这样零束就要根据实际的需求需要做分析，再做策略性的一些测试。

分享不易，恳请点个【👍】和【在看】