学习笔记|关于型号产品测试覆盖性与试验充分性的理解

学习笔记|关于型号产品测试覆盖性与试验充分性的理解

一、几个相关概念

1、测试性

所谓测试性( Testability)是指产品能及时准确地确定其状态(可工作不可工作、性能下降)和隔离其内部故障的设计特性(具体标准可参见GJB2547A. GJB3385, MIL-HDBK-2165)。

测试性是一种设计特性,是需要在产品设计中予以考虑并实现的特性。

测试性的目标有两个:一是能够确定出产品的运行状态;二是故障隔离能力。其适用于电子产品,以及电气、机械、软件等产品以及组合产品。

所以产品在设计时必须考虑测试要素,使产品测试方便、自检功能强、与外部测试设备兼容性好,与外部测试设备在功能、电气和机械上对接时接口简单。就产品而言测试性是产品的固有特性之一,是产品可测试性的前提,是保证产品通过测试评定其功能、性能和进行设计验证的基础。

测试性需求分析作为测试性设计的首要步骤,在大多数情况下决定了系统测试性设计的成败和测试性水平的高低;而且测试性需求分析结果也决定了测试诊断系统开发大部分的费用,测试性需求分析在测试性工程中处于非常重要的地位。

测试性设计技术包括固有测试性、机内测试、外部自动测试、人工测试综合诊断和健康管理(智能测试)等技术和方法。

一般而言,说起测试性来,重点关注的就是如何从源头、从单机到系统,如何提升本质测试性,也就是关键技术指标的可测试性,以便在使用之前确认当前产品以及系统的状态,是否具备能用的条件。

毋庸置疑,很多环节不能够通过显性的测试手段和测试数据以表征其状态的好坏,但并不意味着产品或系统的可观性差,因为很多指标是否正常可以通过其他指标来佐证,但唯一的问题就是大部分情况下,通过其他指标佐证的指标不可量化,以至于造成判断的主观性。

2、测试

测试是技术操作,是为了证实产品是否满足规定要求,利用测试设备(包括BITE)对其进行测量与评定,因而测试是指在实际或模拟条件下,为了确定产品功能、性能、效能等特性所进行的过程或活动。

基本要素一般包括：

1)激励的产生和输入:产生必要的激励并施加到被测产品上,以便得到要测量的响应信号,必要时,对于型号产品还应模拟其使用环境条件或规定环境条件。比如舵机和伺服机构,要模拟给出输入控制指令,看其在带载和振动环境下的响应,分析其动态特性是否满足控制要求。

2)测量与记录：主要获取测试的数据,根据数据进行拟合和判断,同时可以根据多次数据的包络分析得出当前产品真实的质量水平。

3)信息(数据与信号)处理：包括在线处理(如故障诊断、输出显示)和事后处理。现在一般的家电产品都会对应具体的故障码,以便非专业或专业人员进行问题的判定。

4)程序控制:对测试过程中每一个操作步骤的实施和顺序进行自动的或人工控制。

既然测试性是产品的一种设计特性,在产品研制的不同阶段应分别进行测试性设计、分析和验证,以保证产品达到规定的测试性要求。

提到测试,就得提及测试项目的五要素:测试项目中的测试方法、测试状态、测试环境、测试设备、测试指标五个基本要素。这五个要素是测试基本要素的工程化,是一个闭环测试的输入和输出。

一个显见的例子就是地面测发控系统,通过测试指令的注入,在桌面室温环境下,测试飞试产品的部分技术要求满足性,通过拉偏和故障注入,测试边界和最坏情况下系统的响应。

3、上级、本级和下级

按照要求进行测试覆盖性与验证充分性分析检查实施的型号产品(型号某层次产品)称为本级产品;本级产品是上一级产品构成不可或缺的组成部分,相对而言,本级产品的上一级产品称为上级产品;构成本级产品的各组成部分则称为下级产品。

通俗地讲,就是在单机、分系统、系统测试中各项指标的可测性,能够在测试(如单机测试、单元测试)中测试到的为一级(本级)可测试,需要在分系统级(上一级)、模块级测试的为二级可测试,只扩展开来能够在分系统、系统级而不能在单机级测试到的可以均归结为二级可测试指标,对应在模块、单机、分系统、系统均不可测试的为三级不可测试指标。

4、可测试环节(项目)

指对于任务书、技术条件(产品规范)、飞行试验大纲明确规定的技术性能指标以及产品设计确定验证的参数在本级或下级产品测试中能直接或间接获取数据的环节。

可以把可间接获取数据的环节纳入“可测试环节"范畴,如重量公式W=ρV,如果W、V能够直接测量到,则ρ为间接测试量,且三者均属可测试项目。

对于具有统计特征的可靠性指标的评定在型号研制不同阶段应采用不同方式。

强调“产品设计确定验证的参数”的重要性:规定测试需求为任务书(交付验收要求)、技术条件、飞行试验大纲等技术文件(不同产品不同阶段要求可不同)以及产品设计确定验证的参数(产品研制开发要求）。

5、不可测试环节(项目)

指对于任务书、技术条件(产品规范)、飞行试验大纲明确规定的技术性能指标以及产品设计确定验证的参数在本级或下级产品(包括装配或调试过程测试中不能用验证方法获取数据的环节。依照工程化的实际状况,这些指标在上级也难以以量化形式进行测试。

6、测试覆盖性

测试覆盖性是指产品的测试项目及实施要素覆盖产品设计任务书和相关技术文件规定的功能、性能以及实际飞行工作状态的程度。即针对产品功能、性能指标,接口关系、工作模式以及工作环境等特性指标所开展的测试项目的覆盖程度。

产品规定的功能、性能的测试、检验、评定是型号研制的一项非常重要的工作,在产品设计和研制中为解决可测试性问题而提出的测试项目应100%覆盖产品规定的功能、性能。所谓测试覆盖性就是指对这一设计目标的满足程度的定量描述。

测试需求:任务书、技术条件、飞行试验大纲以及产品设计确定验证的参数等。

测试项目设置应遵循“单机覆盖分系统,分系统覆盖全弹(箭、器),出厂覆盖靶场,地面覆盖飞行”的原则。

结合上面以及前面的定义,不可测试项目也可以分为本级不可测、上级可测试,本级不可测、上级不可测等具体情形。

单机产品在单元测试及出厂后不能覆盖,且无法通过分系统测试覆盖的项目,应在产品图样下厂前按照“测试不到验收到、验收不到检验到、检验不到工艺保证到、工艺保证不到人员保障到”的原则进行分析,并在产品验收、检验、工艺及人员保障各环节采取措施,形成记录,证明产品在各种状态下可以满足设计要求。

以上就是因测试不覆盖而生的“四不到四到”和“五环节”。

其实测试覆盖性关注的是一个横向维度的覆盖性,指标和接口是否都测试到了,由此衍生出测试项目和专项试验,此覆盖度在一定程度上也表征为试验的充分性,因为只有覆盖才会充分。

7、试验充分性

试验充分性是指产品研制过程中,为验证技术方案、释放技术风险、考核产品在各项工作条件下的功能性能等所设置研制试验项目的合理性与全面性以及试验内容对产品全寿命各任务剖面使用条件的覆盖程度。同时包括产品测试项目是否得到了充分的验证以及所进行的各项地面试验的试验条件与产品实际使用过程和使用条件的符合程度。

“产品测试项目是否得到了充分的验证”:测试次数、测试方法、数据处理、涉及的试验项目等。

试验条件:与产品实际使用过程和使用条件的符合程度,如弹上设备地面试验的天地一致性问题。

可以看出试验充分性重点关注的是试验的深度问题,也就是试验的强度问题,因为强度达不到,只能在时间上无休止的进行简单重复,也难以激发出产品以及系统固有的薄弱和缺陷,因为只有在一定的条件下,问题才会发生,而问题发生的概率又往往会极低,这个极低只是因为条件不具备,一旦条件具备,则问题一定会发生。

所谓小概率,只是我们的试验强度和深度不够而已,而试验的强度和深度则取决于产品以及系统的使用工况。

以上概念主要来自于《型号产品测试覆盖性与验证充分性规范化研究》,(金玉华,《质」量与可靠性》,2010年增刊),《型号产品测试覆盖性要求》,Q/QJA729-2020,《型号产品试验充分性工作要求》,Q/QJA730-2020,航天科技集团有限公司。

二、测试覆盖性与试验充分性的辩证关系

1、二者各有侧重但也存在交集

前面提及,测试覆盖性偏重于覆盖,该测试的是否进行了测试。

试验充分性更侧重于测试的充分,所为充分就是有没有强度(量级、次数等)、边界和拉偏,是关于使用工况的确认测试。

可见充分性是在覆盖性基础上的充分性,没有测试覆盖,自然就难以谈及充分性。

做过产品和系统的研发人员显而易见可以理解其中的道理,所以此处不再展开。

2、关于测试和试验的专项报告

既然存在交集,那么专项报告完全可以合一。

当前的测试和试验,我们都是正向的,也就是正常工况下,各系统、分系统的正常性相应验证地较多,这也就是一些问题在测试千万遍前提下也不出现的根本原因。

对于极其复杂系统工程而言,单纯的正向分析也好比较难以覆盖到所有该测试的环节的,正常的应该是分级测试,到系统层级应该更多的关注系统的匹配性和测试的深度,也就是边界覆盖性环节,边界之一就是各个测试试验项目对于整个检查环节的覆盖性,边界之二就是最坏情况。

因此需要首先以问题为导向,做好不覆盖环节的梳理,这个重点就是在流程性环节中落实,最为常见的就是整个测试发射流程的梳理,现在我们经常在做的时序动作分析就是一个极为有效的手段,各方在某个节点干什么,但干到什么程度,需要去测试和度量。

其次就是最坏情况和边界,之于边界和最坏情况,没有容错设计的系统响应往往是雪崩式的,因此需要做到容错设计和故障的隔离,既然是做到了,也是需要对容错设计和故障隔离的效果进行考核,前提是故障和边界条件的注入。

以上两点应该是测试覆盖性和试验充分性报告关注的重点。

三、重点控制环节与控制要求

1、整体性要求

开展型号产品测试覆盖性与验证充分性分析检查实施工作应贯穿型号研制全过程,针对型号研制的不同阶段、不同层次产品进行具有针对性的工作,抓住主要矛盾、突出重点。

总的来说,强化型号产品研制过程控制,重点抓好“设计”、“产品交付”、“飞行试验前”3个环节的工作是关键。

（1）型号产品在研制阶段应开展测试覆盖性与验证充分性分析,其分析结果应纳入产品技术设计报告进行技术设计评审。

（2）测试覆盖性与验证充分性分析中不可测试项目的控制措施应形成可操作内容纳入产品研制过程操作文件中。

（3）型号产品出厂前应对相关接口进行匹配性验证或检查,确保接口正确。

（4）型号产品在出厂前应完成测试覆盖性与验证充分性检查。

（5）产品交付验收前,应完成测试覆盖性与验证充分性检查报告,对测试覆盖性与验证充分性分析中涉及的全部可测试项目及其验证结果逐条给出明确的结论,对不可测试项目的过程控制措施落实情况逐条给出明确的结论。

（6）飞行试验进场前应完成导弹和武器系统的测试覆盖性与验证充分性检查,并经评审确认。

2、单机产品级要求

1)测试覆盖性与试验充分性分析要求

测试覆盖性和试验充分性分析应作为型号产品设计的重要内容,特别是在型号产品技术设计中应把这项工作落到实处,必须得到评审确认。

（1）在产品技术设计阶段,产品技术负责人应开展产品测试覆盖性与试验充分性分析,对霱测试验证的技术性能指标进行分析,识别、确定可测试项目和不可测试项目,完成验证试验策划。

（2）产品投产前,技术负责人应将测试覆盖性与验证充分性分析的内容进汇总,形成产品可测试项目分析表、产品不可测试项目分析表、产品验证试验汇总表,并纳入到产品技术设计报告中。

（3）产品技术设计报告应对产品测试项目对特性指标的覆盖性和各项验证试验的充分性,以及不可测试项目控制措施的有效性给出明确结论,在产品技术设计评审时予以确认。

2)测试覆盖性与试验充分性实施工作要求

通过产品测试覆盖性与试验充分性分析,针对需测试验证的技术性能指标,识别、确定可测试项目和不可测试项目,完成试验策划,并形成产品可测试项目分析表、产品不可测试项目分析表和产品验证试验汇总表后,进入产品生产阶段。严格按照产品测试覆盖性与验证充分性分析要求,在产品生产、集成调试过程中开展规定的测试验证工作,针对不可测试项目制定过程控制措施并加以落实,是做好型号产品设计验证、确保产品质量的重要手段。

为此,在产品研制过程中,提出下述要求：

（1）对确认的本级可测试项目明确直接或间接测试验证的时机并落实到相关文件中。

（2）对确认的需在下级测试的可测试项目,应以文件形式明确在产品研制过程中某节点安排验证,获取相应的验证记录作为客观证据。

（3）对确认的不可测试项目应说明不可测试原因,制定质量控制措施并形成文件,作为过程控制的依据,并报上级总体确认。

（4）对可能直接影响性能指标稳定性和功能可靠性的装配和调试过程,必须制定严格的过程控制措施,确保验证结果的有效性。

（5）针对不可测试项目,在研制过程中应认真做好过程操作记录和检测记录必要时采取多媒体记录等措施。

（6）产品验证应按照试验大纲或技术条件等相关验证文件进行。产品交付前应完成各项验证工作并对验证结果的符合性给出明确结论。

3)测试覆盖性与试验充分性监督检查要求

在产品研制过程中积极开展测试覆盖性和试验充分性监督检查,是加强型号产品研制过程质量控制的重要手段之一,产品交付前,必须完成测试覆盖和验证充分性检查工作。

（1）产品交付前,应完成测试覆盖性与验证充分性检查,形成可测试项目检查表不可测试项目检查表、产品验证试验检查表,确认可测试项目全部进行了验证,不可测项目过程控制措施落实到位,过程质量记录及有关的客观证据完整,能有效保证不可测试项目产品质量与可靠性满足设计要求。

（2）产品技术负责人应根据验证充分性检查结果编写产品验证充分性检查报告,作为产品出厂质量评审的备查文件。

3、系统级要求

根据型号研制阶段规划,针对研制阶段考核目标,做好导弹和武器系统各研制阶段测试覆盖性与验证充分性。

（1）依据系统联调大纲等文件,明确测试项目和验证试验;

（2）在导弹和武器系统级能直接测试的项目,明确可测试项目的验证时机并落实到导弹总装测试或武器系统联调大纲等相关技术文件中。

（3）在导弹和武器系统级无法独立测试,需在下级验证的项目,应以文件形式向下级提出明确的测试项目及要求,并从下级获取验证结果材料。

（4）对可能直接影响性能指标稳定性和功能可靠性的总装、总调过程,必须制定严格的过程控制措施,确保验证结果的有效性。

（5）导弹和武器系统不可测试项目应说明不可测试原因,制定质量控制措施并形成文件,作为过程控制的依据。

（6）飞行试验进场前,导弹和武器系统技术负责人应对系统试验验证情况总装测试与系统联调情况等进行全面复查,编制飞行试验测试覆盖性与验证充分性检查报告,并经评审确认。

4、几点说明

（1）针对不可测试项目应制定控制措施并纳入产品研制生产过程中。

（2）测试覆盖性与试验充分性分析不仅要站在交付验收的角度考虑,也要站在有利于产品设计开发的角度考虑。

（3）测试覆盖性与试验充分性分析都是围绕或为得到产品测试项目而展开的,因而从广义上说试验项目(验证试验策划的结果)也是测试项目。

（4）可靠性指标等具有统计特征的技术指标,由于往往不能从一个产品子样直接获得,因而必须策划并进行可靠性验证,并不断积累可靠性数据,为可靠性评估与鉴定打下基础。

（5）不是所有的指标都要在所有层级的测试中都要测试到,也不是所有的指标要求都能够被科学地测试度量出来;关于测试覆盖和充分有时候就得把重点放在测试项目的边界和缺失的环节,这些环节一般为多个系统参与的环节。

（6）成熟产品、借用产品、产品化产品单机测试更应该关注一些工艺性以及相关环节,可以简化针对单机层级的测试,强化在系统中匹配和接口的测试。

（7）单机覆盖分系统,分系统覆盖系统,那是有前提的,测试手段、装置和工况的模拟缺一不可,否则不可实现。

以上主要参考于《型号产品测试覆盖性与验证充分性规范化研究》,(金玉华,《质量与可靠性》,2010年增刊)。

四、小结

测试覆盖性和试验充分性各有侧重但不可分割,测试覆盖是前提,试验充分是我们所追求的极致,这都取决于我们对于产品和系统的认识程度,但有点需要明确,那就是关注重点,在过程中进行必要的设计和确认,对于试验数据的深度挖掘和分析,从数据反溯设计和试验以改进,这才是这项工作的根本目的所在。

参考资料

1、《型号产品测试覆盖性与验证充分性规范化研究》,金玉华,《质量与可靠性》,2010年增刊

2、《测试性设计分析与验证》,石君友,国防工业出版社,2011年4月

3、《装备系统测试性需求分析技术研究》,苏永定,国防科学技术大学,2011年7月

4、《型号产品测试覆盖性要求》,QQJA729-2020,航天科技集团有限公司

5、《型号产品试验充分性工作要求》,QJA730-2020,航天科技集团有限公司

点击图片

关注我们

往期回顾