理论教育 如何设计测试用例及评估测试结果标准

如何设计测试用例及评估测试结果标准

时间:2023-06-17 理论教育 版权反馈
【摘要】:应按照测试级别的不同要求,设计测试用例。为达到不同的测试充分性要求,应采用相应的测试方法,如等价类划分、边界值分析、猜错法、因果图等方法。7)评估测试结果的标准。说明测试正常终止和异常终止的条件。1988.软件单元测试一般应符合以下技术要求:1)对软件设计文档规定的软件单元的功能、性能、接口等应逐项进行测试。

如何设计测试用例及评估测试结果标准

1979.测试级别分为:单元测试、部件测试、配置项测试、系统测试。回归测试可出现在上述每个测试级别中,并贯穿于整个软件生存周期。

1980.测试过程包括:测试策划、测试设计和实现、测试执行、测试总结。

1981.测试方法分为静态测试方法和动态测试方法。静态测试方法包括检查单和静态分析方法,对文档的静态测试方法主要是以检查单的形式进行,而对代码的静态测试方法一般采用代码审查、代码走查和静态分析,静态分析一般包括控制流分析、数据流分析、接口分析和表达式分析。动态测试方法一般采用白盒测试方法和黑盒测试方法。黑盒测试方法一般包括功能分解、边界值分析、判定表、因果图、随机测试、猜错法和正交试验法等;白盒测试方法一般包括控制流测试(语句覆盖测试、分支覆盖测试、条件覆盖测试、条件组合覆盖测试、路径覆盖测试)、数据流测试、程序变异、程序插桩、域测试和符号求值等。

1982.配置项测试和系统测试一般采用黑盒测试方法;部件测试一般主要采用黑盒测试方法,辅助以白盒测试方法;单元测试一般采用白盒测试方法,辅助以黑盒测试方法。

1983.设计测试用例时,应遵循以下原则:

1)基于测试需求的原则。应按照测试级别的不同要求,设计测试用例。

2)基于测试方法的原则。应明确所采用的测试用例设计方法。为达到不同的测试充分性要求,应采用相应的测试方法,如等价类划分、边界值分析、猜错法、因果图等方法。

3)兼顾测试充分性和效率的原则。每个测试用例的内容应完整,具有可操作性。

4)测试执行的可重复性原则。

1984.每个测试用例应包括以下要素:

1)名称和标识。

2)测试追踪。说明测试所依据的内容来源,如系统测试依据是用户需求,配置项测试依据是软件需求,部件测试和单元测试依据是软件设计

3)用例说明。简要描述测试的对象、目的和所采用的测试方法。

4)测试的初始化要求。硬件配置:包括硬件条件或电气状态;软件配置:测试的初始条件;测试配置:如用于测试的模拟系统和测试工具等的配置情况;参数设置:如标志、第一断点指针、控制参数和初始化数据等的设置;其他特殊说明。

5)测试的输入。包括每个测试输入的具体内容(确定的数值、状态或信号等)及其性质(有效值、无效值、边界值等)、测试输入的来源(测试程序产生、磁盘文件、通过网络接收、人工键盘输入等)、选择输入所使用的方法(等价类划分、边界值分析、猜错法、因果图、功能图等方法)、测试输入时是真实的还是模拟的、测试输入的时间顺序或事件顺序。

6)期望测试结果。

7)评估测试结果的标准。对于每个测试结果,应根据不同情况提供如下信息:实际测试结果所需的准确度;实际测试结果与期望结果之间的差异允许的上、下限;时间的最大和最小间隔,或实际数目的最大和最小值;实际测试结果不确定时的测试条件;与产生测试结果有关的出错处理;其他标准。

8)操作过程。对于每个操作应提供:每一步所需的测试操作动作、测试程序的输入、设备操作等;每一步期望的测试结果;每一步的评估标准;程序终止伴随的动作或错误指示;获取和分析实际测试结果的过程。

9)前提和约束。如果有特别限制、参数偏差或异常处理,应该标识出来,并说明它们对测试用例的影响。

10)测试终止条件。说明测试正常终止和异常终止的条件。

1985.应按照软件配置管理的要求,将测试过程中产生的各种软件工作产品纳入配置管理。

1986.测试评审分为测试就绪评审和测试评审。在测试执行前,应对测试计划和测试说明等进行审查。审查测试计划的合理性、测试用例的正确性、科学性和覆盖充分性,以及测试组织、测试环境和设备工具是否齐全并符合技术要求等。测试完成后,审查测试过程和测试结果的有效性,确定是否达到测试目的。主要对测试记录、测试报告进行审查。

1987.软件测试文档包括测试计划、测试说明、测试报告、测试记录和测试问题报告。

1988.软件单元测试一般应符合以下技术要求:

1)对软件设计文档规定的软件单元的功能、性能、接口等应逐项进行测试。

2)每个软件特性应至少被一个正常测试用例和一个被认可的异常测试用例覆盖。

3)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值。

4)在对软件单元进行动态测试之前,一般应对软件单元的源代码进行静态测试。

5)语句覆盖率达到100%。

6)分支覆盖率达到100%。

7)对输出数据及其格式进行测试。

1989.软件单元测试接口一般应包括以下内容:调用被测单元时的实际参数与该单元的形式参数的个数、属性、量纲、顺序是否一致;被测单元调用子模块时,传递给子模块的实际参数与子模块的形式参数的个数、属性、量纲、顺序是否一致;是否修改了只作为输入值的形式参数;调用内部函数的个数、属性、量纲、顺序是否一致;被测单元在使用全局变量时是否与全局变量的定义一致;在单元有多个入口的情况下,是否引用了与当前入口无关的参数;常数是否当作变量来传递;输入/输出文件属性的正确性;OPEN语句的正确性;CLOSE语句的正确性;规定的输入/输出格式说明与输入/输出语句是否匹配;缓冲区容量与记录长度是否匹配;文件是否先打开后使用;文件结束条件的判断和处理的正确性;输入/输出错误是否检查并做了处理以及处理的正确性。

1990.测试软件单元内部的数据能否保持其完整性,包括内部数据内容、格式及相互关系。应设计测试用例检查以下错误:不正确或不一致的数据类型说明;错误的变量名,如变量名拼写错误或缩写错误;使用尚未赋值或尚未初始化的变量;错误的初始值或错误的默认值;不一致的数据类型;下溢、上溢或是地址错误;全局数据对软件单元的影响。

1991.软件部件测试一般应符合以下技术要求:

1)应对软件部件进行必要的静态测试,并先于动态测试。

2)软件部件的每个特性应被至少一个正常的测试用例和一个被认可的异常测试用例覆盖。

3)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值。

4)应采用增量法,测试组装新的软件部件。

5)应逐项测试软件设计文档规矩的软件部件的功能、性能等特性。

6)应测试软件部件之间、软件部件和硬件之间的所有接口。

7)应测试软件单元和软件部件之间的所有调用,达到100%的测试覆盖率。

8)应测试软件部件的输出数据及其格式。

9)应测试运行条件(如数据结构、输入/输出通道容量、内存空间、调用频率等)在边界状态下,进而在认为设定的状态下,软件部件的功能和性能。

10)应按设计文档要求,对软件部件的功能、性能进行强度测试。

11)对安全性关键的软件部件,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试。

1992.软件部件测试总结,测试分析员应根据被测软件的设计文档(含接口设计文档)、部件测试计划、部件测试说明、测试记录和软件问题报告单等,分析和评估测试工作。一般应包括以下内容:

1)总结软件部件测试计划和软件部件测试说明的变化情况及其原因,并记录在软件部件测试报告中。

2)对测试异常终止情况,确定未能被测试活动充分覆盖的范围,并将理由记录在测试报告中。

3)确定未能解决的软件测试事件以及不能解决的理由,并将理由记录在测试报告中。

4)总结测试所反映的软件部件与软件设计文档(含接口设计文档)之间的差异,记录在测试报告中。

5)将测试结果连同所发现的错误情况同软件设计文档(含接口设计文档)对照,评价软件部件的设计与实现,提出软件改进建议,记录在测试报告中。

6)按要求编写软件部件测试报告,该报告应包括测试结果分析、对软件部件的评估和建议。

7)根据测试记录和软件问题报告单编写测试问题报告。

1993.软件部件测试完成后应形成软件部件测试计划、软件部件测试说明、软件部件测试报告、软件部件测试记录和软件部件测试问题报告。

1994.软件配置项测试一般应符合以下技术要求:

1)必要时,在高层控制流图中进行结构覆盖测试。

2)软件配置项的每个特性应至少被一个正常的测试用例和一个被认可的异常测试用例覆盖。

3)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值。

4)应逐项测试软件需求规格说明规定的软件配置项的功能、性能等特性。(www.daowen.com)

5)应测试软件配置项的所有外部输入、输出接口(包括核硬件之间的接口)。

6)应测试软件配置项的输出及其格式。

7)应按软件需求规格说明的要求,测试软件配置项的安全保密性,包括数据的安全保密性。

8)应测试人机交互界面提供的操作和显示界面,包括用非常规操作、误操作、快速操作测试界面的可靠性

9)应测试运行条件在边界状态和异常状态下,或在认为设定的状态下,软件配置项的功能和性能。

10)应测试软件配置项的全部存储量、输入/输出通道和处理时间的余量。

11)应按需求规格说明的要求,对软件配置项的功能、性能进行强度测试。

12)应测试设计中用于提高软件配置项安全性、可靠性的结构、算法、容错、冗余、中断处理等方案。

13)对安全性关键的软件配置项,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试。

14)对有恢复或重置功能需求的软件配置项,应测试其恢复或重置功能和平均恢复时间,并且对每一类导致恢复或重置的情况进行测试。

15)对不同的实际问题应外应添加相应的专门测试。

1995.软件配置项测试总结一般包括以下内容:

1)总结软件配置项测试计划和软件配置项测试说明的变化情况及其原因,并记录在测试报告中。

2)对测试异常终止情况,确定未能被测试活动充分覆盖的范围,并将理由记录在测试报告中。

3)确定未能解决的软件测试事件以及不能解决的理由,并将理由记录在测试报告中。

4)总结测试所反映的软件配置项与软件需求规格说明(含接口设计文档)、软件设计文档(含接口设计文档)之间的差异,记录在测试报告中。

5)将测试结果连同所发现的错误情况同软件需求规格说明(含接口设计文档)、软件设计文档(含接口设计文档)对照,评价软件配置项的设计与实现,提出软件改进建议,记录在测试报告中。

6)按要求编写软件配置项测试报告,该报告应包括测试结果分析、对软件配置项的评估和建议。

7)根据测试记录和软件问题报告单编写测试问题报告。

1996.系统测试一般应符合以下技术要求:

1)系统的每个特性应至少被一个正常的测试用例和一个被认可的异常测试用例覆盖。

2)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值。

3)应逐项测试系统/子系统设计明确规定的系统的功能、性能等特性。

4)应测试软件配置项之间及软件配置项与硬件之间的接口。

5)应测试系统的输出及其格式。

6)应测试运行条件在边界状态下、异常状态下或在设定的状态下,系统的功能和性能。

7)应测试系统访问和数据安全性。

8)应测试系统的全部存储量、输入/输出通道和处理时间的余量。

9)应按系统或子系统设计文档的要求,对系统的功能、性能进行强度测试。

10)应测试设计中用于提高系统安全性、可靠性的结构、算法、容错、冗余、中断处理等方案。

11)对安全性关键的系统,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试。

12)对有恢复或重置功能的系统,应测试其恢复或重置功能和平均恢复时间,并且对每一类导致恢复或重置的情况进行测试。

13)对不同的实际问题应外加相应的专门测试。

1997.系统测试总结包括以下内容:

1)总结系统测试计划和系统测试说明的变化情况及其原因,并记录在系统测试报告中。

2)对测试异常终止情况,确定未能被测试活动充分覆盖的范围,并将理由记录在系统测试报告中。

3)确定未能解决的软件测试事件以及不能解决的理由,并将理由记录在系统测试报告中。

4)总结测试所反映的软件系统与软件开发任务书或软件开发合同或系统/子系统设计文档之间的差异,记录在测试报告中。

5)将测试结果连同所发现的错误情况同软件开发任务书或软件开发合同或系统/子系统设计文档对照,评价软件系统的设计与实现,提出软件改进建议,记录在测试报告中。

6)按要求编写系统测试报告,该报告应包括测试结果分析、对软件系统的评估和建议。

7)根据测试记录和软件问题报告单编写测试问题报告。

1998.回归测试的对象包括以下内容:

1)未通过软件单元测试的软件单元,在更改之后,应对其进行测试。

2)未通过软件部件测试的软件部件,在更改之后,应对更改的软件单元和软件部件进行测试。

3)未通过软件配置项测试的软件配置项,在更改之后,应对更改的软件单元、受更改影响的软件部件和软件配置项进行测试。

4)未通过系统测试的软件,在更改之后,应对更改的软件单元、受更改影响的软件部件、软件配置项和系统进行测试。

5)因其他原因进行更改之后的软件单元、软件部件或软件配置项。

1999.回归测试的技术要求一般应符合原软件单元、软件部件、软件配置项测试的技术要求,并可根据更改情况酌情裁剪。回归测试的测试内容一般应根据更改情况确定其测试内容,可能存在以下三种情况:

1)仅重复原测试做过的测试内容。

2)修改原测试做过的测试内容。

3)在前两者的基础上增加新的测试内容。

2000.系统回归测试完成后应形成下列文档(按测试级别形成相应级别的测试文档,高级别测试产生的文档必须包含低级别测试产生的文档):

1)软件单元(软件部件、软件配置项、系统)回归测试计划。

2)软件单元(软件部件、软件配置项、系统)回归测试说明。

3)软件单元(软件部件、软件配置项、系统)回归测试报告。

4)软件单元(软件部件、软件配置项、系统)回归测试记录。

5)软件单元(软件部件、软件配置项、系统)回归测试问题报告。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈