GBT 25000.51-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分就绪可用软件产品(RUSP)的质量要求和测试细则
ICS 35.080
L 77
中华人 民 共 和 国 国 家 标 准
GB/T 25000.51-2016
代替GB/T 25000.51-2010
系统与软件工程 系统与软件质量要求 和评价(SQuaRE) 第51部分: 就绪 可用软件产品(RUSP)的质量要求和测试细则
Systems and software engineering一Systems and software Quality Requirements andEvaluation(SQuaRE)Part 51: Requirements for
quality of Ready to Use Software Product(RUSP)and instructions for testing
(ISO/IEC 25051: 2014,Software engineering一Systems and software Quality Requirements and Evaluation(SQuaRE)-Requirements for quality of Ready to Use Software Product(RUSP)and
instructions for testing,MOD)
2016-10-13发布 2017-05-01实施
中华人民共和国国家质量监督检验检疫总局
中 国 国 家 标 准 化 管 理 委 员 会 发布
前 言
GB/T25000《系统与软件工程 系统与软件质量要求和评价(SQuaRE)》分为如下几部分: ——第 1 部 分 : SQuaRE指南;
——第2部分:计划与管理;
——第10部分: 系统与软件质量模型;
——第12部分:数据质量模型;
——第20部分: 测量参考模型和指南;
——第21部分: 质量测度元素;
——第22部分: 使用质量测量;
——第23部分: 系统和软件产品质量测量;
——第24部分:数据质量测量;
——第30部分: 质量需求;
——第40部分: 评价过程;
——第41部分:开发方、需方和独立评价方的评价指南;
——第42部分:评价模块;
——第45部分: 可恢复性的评价模块;
——第 51部分:就绪可用软件产品(RUSP)的质量要求和测试细则;
——第60部分:易用性测试报告行业通用格式(CIF):易用性相关信息的通用框架; ——第62部分:易用性测试报告行业通用格式(CIF);
——第63部分: 易用性的行业通用格式(CIF): 使用周境描述;
——第64部分:易用性的行业通用格式(CIF):用户要求报告;
——第65部分:易用性的行业通用格式(CIF):用户需求规格说明;
——第66部分: 易用性的行业通用格式(CIF):评价报告。
本部分为GB/T 25000的第51部分。
本部分按照GB/T1.1-2009给出的规则起草。
本部分代替GB/T 25000.51-2010《软件工程 软件产品质量要求和评价(SQuaRE) 商业现货 (COTS)软件产品的质量要求和测试细则》.与GB/T 25000.51-2010相比,主要技术变化如下:
a)GB/T 2500.51-2010等同采用ISO/IEC25051:2006,本部分修改采用ISO/IEC 25051: 2014.
b) 术语和定义作了调整和补充。
c) 本部分中增加了"信息安全性"和"兼容性"的有关产品质量特性的表述,使用质量特性调整为 "有效性"、"效率"、"满意度"、"抗风险"和"周境覆盖”5大特性，相关的子特性也做了修改、调 整和补充(增加的条款详见5.1.2.1、5.1.4、 5.1.6.2、5.1.6.3、5.1.8.4、5.1.10、5.1.15、5.1.16、
5.1.17、 5.2.13.1、5.2.15.1、5.2.16.1、5.2.17、 5.2.18.1、5.2.19.1、5.3.3、 5.3.4.1、5.3.5.5、5.3.6.1、
5.3.7.1、5.3.9、5.3.10、5.3.11、5.3.12、5.3.13、6.2.4、6.2.5、6.2.6、6.2.7).
d) 附录部分也作了调整。
本部分采用重新起草法修改采用ISO/IEC 25051: 2014《软件工程 系统与软件质量要求和评价 (SQuaRE) 就绪可用软件产品(RUSP)的质量要求和测试细则》(英文版).本部分与 ISO/IEC 25051: 2014的主要技术差异及其原因如下
a) 规范性引用文件中将原国际标准中引用的 ISO/IEC 25000 删去,因为正文中未引出;将 ISO/IEC25010替换为注日期引用的国家标准 GB/T 25000.10-2016,因为质量模型的引用 必定是注日期引用。
b) 由于GB/T 25000.10-2016是修改采用ISO/IEC 25010: 2011,据此5.1、5.2、5.3的相关特性 说明做了相应修改,主要针对依从性问题。
c) 国际标准中5.1.4.1 “产品说明中描述的全部功能,应依照软件质量特性的要求进行分类(5.3.2~ 5.3.9)"纠正为"产品说明中描述的全部功能,宜按照软件产品质量特性的说明进行归类(5.1.5~ 5.1.12)"。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。
本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本部分起草单位: 中国电子技术标准化研究院、上海计算机软件技术开发中心、国家应用软件产品 质量监督检验中心、广东省科技基础条件平台中心、深圳市中安测标准技术有限公司、佛山柯维光电股 份有限公司、重庆市软件评测中心有限公司、南京大学、珠海南方软件网络评测中心、湖北软件评测中 心、中国航天科技集团公司软件评测中心、内蒙古电子信息产品质量检验院、南昌金庐软件园软件评测 培训有限公司、上海泽众软件科技有限公司、上海得元信息科技有限公司、上海市软件行业协会。
本部分起草人: 张肠肠、冯惠、蔡立志、胡芸、王威、丁晓明、宋红波、罗亮、潘宇聪、何志明、廖辉、 张毅、薛保平、徐宝文、侯建华、王瑞、杨桂枝、夏启铭、黄兆森、刘潇健、李晓春、丁为清、高海龄、巩韶飞、 张雪莉、陈海、李英华。
本部分所代替标准的历次版本发布情况为:
——GB/T 17544-1998;
——GB/T 2500.51-2010。
引 言
就绪可用软件产品(RUSP)的应用领域不断拓广,其正确的运行对于业务、安全或个人的应用往往 至关重要。
RUSP可以是一种打包出售给对其特征和其他质量没有任何影响的需方的软件产品。典型情况 是,这种软件产品与其用户文档集一起预先包装好出售,或者从Web商店下载。用户能在任何时间通 过云计算使用的软件产品可以认为是RUSP。包装封面提供的信息或者供方网站上的信息往往是制造 商或营销组织能与需方或用户交流的唯一手段。因此,给出基本信息,使需方能按自己需要来评价 RUSP的质量是重要的。
由于RUSP可能要在各种环境中运行,并且用户没有机会就所选择的产品与类似产品作性能比 较,因此选用高质量的RUSP是极其重要的。供方需要一种方式来确保用户信任 RUSP提供的服务。 一些供方可能选择符合性评价组织的评价或认证,以协助其提供这种信任。
此外,当用户要求提供涉及业务或安全攸关风险的保证时,这种保证可能需要由用户在采购后选用 特定的技术来处置。本部分不规定 RUSP的最低限度的业务或安全攸关的质量要求,但给出了资料性 指南(参见附录 A)。
系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分: 就绪可用软件产品(RUSP)的质量要求和测试细则
1 范 围
GB/T 25000的本部分确立了:
a) 就绪可用软件产品(RUSP)的质量要求;
b) 用于测试RUSP的包含测试计划、测试说明和测试结果等的测试文档集要求;
注1: 用于测试的文档的汇集称为"测试文档集"。
c)RUSP的符合性评价细则。
本部分还包括关于安全或业务攸关的RUSP的建议。
本部分仅涉及向用户提供对产品的信任,即RUSP能按所提供的和交付的说明运行。不涉及生产 实现(包含各种活动和中间产品,例如规格说明).供方的质量体系超出了本部分的范围。
本部分适用于RUSP。
注2: RUSP的例子包括但不限于:文本处理程序、电子表格、数据库控制软件、图形包、以及用于技术的、科学的或
实时的嵌入式功能的软件(例如实时操作系统)、人力资源管理软件、销售管理、智能手机应用、免费软件以及 诸如Web 网站和主页生成器之类的 Web软件。
注3: 开源软件不属于RUSP的范畴。
本部分的预期用户包括:
a) 供方,当:
1)规定 RUSP的需求时;
2)对照所声称的特性评估其软件产品时;
3) 发布符合性声明【ISO/IEC17050】时;
4) 申请符合性证书或标志【ISO/IEC导则23】时;
b) 希望建立某种认证模式(国际级、地区级或国家级【ISO/IEC导则28】的认证机构; c) 遵循本测试细则提供符合性证书或标志而进行测试的测试实验室【ISO/IEC1702】;
d) 认可注册机构或认证机构以及测试实验室的认可机构;
e) 潜在的需方,其可能: 1)把预期的工作任务要求与现有软件产品的产品说明信息进行比较;
2) 寻求已获认证的RUSP; 3)检验要求是否被满足;
f)可从更好的软件产品获益的最终用户;
g) 正在进行以下活动的组织: 1)根据本部分的质量要求和方法建立管理和工程环境; 2)管理和改进其质量过程及人力资源配置;
h） 可能对安全或业务攸关的应用中使用的 RUSP提出要求或推荐使用本部分的要求的监管 机构。
附录 B给出了如何使用本部分的参考信息。
2 符 合 性
RUSP满足以下条件即符合本部分:
a)具有第5章中规定的特性;
b)已按所编制的符合第6章要求的测试文档集进行了测试;
c) 记录测试期间发现的异常,并在产品发布前解决了这些异常。应消除违背广告宣传的性能声 称的异常,否则应取消此种性能声称。如果存在下述两种情况,可认为已知的异常是可接 受的:
1)该异常不违背所声称的性能;
2)供方已适当考虑了该异常的性质和对潜在需方的影响,认为该异常可忽略不计,并且已保 存了有关这些异常的文档以备日后改进。
注: 为便于符合性评价,本部分的要求是以第3级子条方式给出的(编号为XX.X.X).资料性注释完善这些条款, 可以作为指南。
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 2500.10-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第10部分: 系统与软件质量模型
与基于需求规格说明、设计文档和标准等的期望值的偏离或与某个人的感知或经验的任何条件的 偏离。
应用管理职能 application administration function
由用户履行的职能,包括安装、配置、备份、维护(打补丁和升级)、卸载等。
符合性评价报告 conformity evaluation report
就绪可用软件产品 Ready to Use Software Product
无论是否付费,任何用户可以不经历开发活动就能获得的软件产品。
——用户文档集(安装和使用软件所必需的文档),包括为运行该软件产品所要求的操作系统或目标计算机的 任何配置;
——计算机媒体(磁盘、CD-ROM、网络可下载的媒体等)上的软件。
注3: 本定义也适用于产品说明、用户文档集,以及作为单独的制成品而被生产和支撑的软件,该软件不收取通常的 商业费用和证书费用。
注: 最终用户可以是软件产品的正式操作员;或是临时用户,例如公众中的一员。
注: 主要目的是帮助潜在的需方在采购前对软件本进行适用性评价。
注: 这些文档可以是技术报告、标准、针对某类用户的要求列表(或模型需求规格说明)或者是行政机构或管理机构颁发的条例或法规。
软件中算法的实现,利用该实现,最终用户或软件可以执行某一工作任务的部分或全部。 注: 功能不一定是最终用户可调用的(例如:数据的自动备份保存).
软件测试环境 software test environment
对软件进行合格性测试或其他测试时所需要的设施、硬件、软件、固件、规程和文档集等。 【ISO/IEC/IEEE 24765: 2010】
在规定的条件下执行系统或组件、对结果进行观察或记录,并就该系统或该组件的某些方面作出评 价的活动。
为某个特定目标(例如,为演练具体的程序路径或验证对特定需求的依从性)而开发的输入、执行条 件以及预期结果的集合。
待测量的已标识的软件特征的集合,通过在规定的条件下将实际的行为与要求的行为进行比较而 测量。
在规定的条件下运行某一系统或组件,观察或记录其结果,并就该系统或组件的某些方面作出评价 的过程。
注: 在同一人或组织中,用户角色和操作员角色可能被同时赋予或先后赋予。
CM: 配置管理(Configuration Management)
RUSP: 就绪可用软件产品(Ready to Use Software Product)
SQA: 软件质量保证(Software Quality Assurance)
SQC:软件质量控制(Software Quality Control)
注: 在ISO/IEC 9127《软件工程 用于顾客软件包的用户文档集和封面信息》中有关封面信息的段落可用作编制产 品说明的输入。
5.1.2.2产品说明应包含潜在需方所需的信息,以便评价该软件对其需要的适用性。
5.1.2.4产品说明中包括的特性陈述应是可测试的或可验证的。
5.1.3.3产品说明应包含供方和(当适用时)供货商、电子商务供货商或零售商的名称和邮政或网络 地址。
5.1.3.4产品说明应标识该软件能完成的预期的工作任务和服务。
5.1.3.5 当供方想要声称符合有影响到该RUSP的法律或行政机构规定的文件时,则产品说明应标识 出这些需求文档。
产品说明中所提及的全部功能,宜按照软件产品质量特性的说明进行归类(5.1.5~5.1.12).
5.1.5.1 适用时,产品说明应根据GB/T25000.10—2016包含有关功能性的陈述,要考虑功能完备性、 功能正确性、功能适合性以及功能性的依从性,并以书面形式展示可验证的依从性证据。
5.1.5.2产品说明应提供该产品中最终用户可调用的功能的概述。
5.1.5.3产品说明应描述用户可能遭遇关键缺陷的所有功能。 注1: 关键缺陷可能是:
5.1.5.5当有软件组件的选项和版本时,应无歧义地予以指明。
5.1.5.6当提供对软件的未授权访问(不管是无意的还是故意的)的预防措施时,则产品说明应包含这 种信息。
5.1.6.1 适用时,产品说明应根据GB/T 25000.10-2016包含有关性能效率的陈述,要考虑时间特性、 资源利用性、容量以及性能效率的依从性,并以书面形式展示可验证的依从性证据。
5.1.6.2所有已知的影响性能效率的条件都应说明。 注: 所陈述的条件可能是:
——RUSP有效工作所需的资源,例如带宽、硬盘空间、随机存储器、视频卡、无线互联网卡、CPU速度等。
5.1.6.3产品说明中应描述系统的容量,尤其与计算机系统相关的容量。
5.1.7.1 适用时,产品说明应根据GB/T 25000.10-2016包含有关兼容性的陈述,要考虑共存性、互操
作性以及兼容性的依从性，并以书面形式展示可验证的依从性证据。
5.1.7.2 产品说明应以适当的引用文档指明 RUSP在何处依赖于特定软件和(或)硬件。
5.1.7.3产品说明应标识用户调用的接口和相关的被调用软件。
5.1.8.2产品说明应指明用户接口的类型。 注: 这些接口可能是:
5.1.8.3产品说明应指明使用和操作该软件所要求的专门知识。 注: 这些专门知识可能是:
5.1.8.5当预防版权侵犯的技术保护妨碍易用性时,则应陈述这种保护。 注: 这些保护可以是:
5.1.8.6产品说明应包括可访问性的规定标示,特别是对有残疾的用户和存在语言差异的用户。
5.1.9.1 适用时,产品说明应根据GB/T25000.10-2016包含有关可靠性的陈述,要考虑成熟性、可用
性、容错性、易恢复性以及可靠性的依从性,并以书面形式展示可验证的依从性证据。
注: 除非开发者能以服务数据或其他可验证的数据证实所做的声称,否则开发者不宜作出可靠性声称。
5.1.9.2产品说明应就软件在遇到由用户接口出错、应用程序自身的逻辑出错、系统或网络资源可用性 引发差错的情况下的继续运行(即可用)能力作出说明。
5.1.9.3产品说明应包括关于数据保存和恢复规程的信息。 注: 指明数据备份由操作系统的功能来执行也是可接受的。
适用时,产品说明应根据GB/T 25000.10-2016包含有关信息安全性的陈述,要考虑保密性、完整 性、抗抵赖性、可核查性、真实性以及信息安全性的依从性,并以书面形式展示可验证的依从性证据。
5.1.11.2产品说明应包括用户所需的维护信息。 注;这些信息可能是:
5.1.11.3当该软件能由用户作修改时,则应标识用于修改的工具或规程及其使用条件。 注: 使用的条件可能是:
5.1.12.1 适用时,产品说明应根据GB/T 2500.10-2016包含有关可移植性的陈述,要考虑适应性、 易安装性、易替换性以及可移植性的依从性,并以书面形式展示可验证的依从性证据。
5.1.12.2产品说明应指明将该软件投入使用的不同配置或所支持的配置(硬件,软件). 注1: 针对不同工作任务、不同的边界值或不同的效率要求,可以规定不同配置。
5.1.13.1 适用时,产品说明应根据 GB/T 25000.10-2016包含有关使用质量中有效性的陈述。
5.1.13.2产品说明应对用户指明为实现特定目标产品所遵循的任何依从性基准。
5.1.14.1 适用时,产品说明应根据GB/T 25000.10-2016包含有关使用质量中效率的陈述。
5.1.14.2 产品说明应指明该RUSP预定是在单一系统上供多个并发最终用户使用,还是供一个最终 用户使用,并且应说明在所要求的系统的所陈述的性能级别上可行的最大并发最终用户数。
5.1.14.3产品说明应说明用户实现特定目标所需的资源信息。
5.1.15.1 适用时,产品说明应根据GB/T2500.10-2016包含有关使用质量中满意度的陈述,要考虑 有用性、可信性、愉悦性和舒适性。
5.1.15.2产品说明中应提供供方的联系方式,以便用户为了满意地使用该产品而联系他们。
5.1.16.1 适用时,产品说明应根据GB/T 25000.10-2016包含有关使用质量中抗风险的陈述,要考虑 经济风险缓解性、健康和安全风险缓解性和环境风险缓解性。
5.1.16.2在软件的使用存在已知的风险或需要特殊培训的情况下,产品说明中应包括非公开信息。
5.1.17.1 适用时,产品说明应根据GB/T 25000.10-2016包含有关使用质量中周境覆盖的陈述,要考 虑周境完备性和灵活性。
5.1.17.2如果产品说明中包含依从性的信息,该依从性的覆盖范围应明确说明。
注: ISO/IEC9127《软件工程 用于顾客软件包的用户文档集和封面信息》有关封面信息的段落可以用于创建用户 文档集。
5.2.3.4用户文档集应标识该软件能完成的预期工作任务和服务。
5.2.4.2用户文档集应说明在产品说明中陈述的所有功能以及最终用户能调用的所有功能。
5.2.4.3用户文档集应列出已处理处置、会引起应用系统失效或终止的差错和缺陷,特别是列出那些最 终导致数据丢失的应用系统终止的情况。
5.2.4.5对于所有关键的软件功能(即失效后会对安全产生影响或会造成重大财产损失或社会损失的 软件),用户文档集应提供完备的指导信息和参考信息。
5.2.4.7对用户要执行的应用管理职能,用户文档集应包括所有必要的信息。
注: 信息示例——让用户能验证是否成功执行应用管理职能的信息。
5.2.4.8如果用户文档集分若干部分提供,在该集合中至少有一处应标识出所有的部分。
5.2.5.1用户文档集中的所有信息对主要的目标用户应是恰当的。 注: 用户文档集中的所有信息的正确性都宜追溯到权威来源。
用户文档集中的各文档不应自相矛盾、互相矛盾以及与产品说明矛盾。
5.2.7.1 用户文档集应采用该软件特定读者可理解的术语和文体,使其容易被RUSP主要针对的最终 用户群理解。
5.2.7.2应通过经编排的文档清单为理解用户文档集提供便利。
5.2.9.1用户文档集中应提供必要的信息以标识使用该软件的兼容性要求。
5.2.9.2 用户文档集应以适当的引用文档指明RUSP在何处依赖于特定软件和(或)硬件。 注: 这种引用可包括:
5.2.9.3当用户文档集引证已知的、用户可调用的与其他软件的接口时,则应标识出这些接口或软件
注: 用户文档集可引用RUSP自身包含的或诸如培训之类辅助材料中包含的附加信息。
5.2.11.1如果用户文档集不以印刷的形式提供,则文档集应指明是否可以被打印,如果可以打印,那么 指出如何获得打印件。
5.2.11.2卡片和快速参考指南以外的用户文档集,应给出目次(或主题词列表)和索引。
5.2.11.3用户文档集应对所用到的术语和缩略语加以定义,以便用户可以理解文档中的用词。
用户文档集应对用户管理的每一项数据所对应的软件信息安全级别给出必要的信息。
用户文档集应陈述是否提供维护。如果提供维护,则用户文档应陈述和软件发布计划相应的维护 服务。
用户文档集应能帮助用户达到产品说明陈述的使用质量有效性的目标。
用户文档集应能帮助用户达到产品说明陈述的使用质量效率的目标。
5.2.17.1用户文档集应能帮助用户达到产品说明陈述的使用质量满意度的目标。
5.2.17.2用户文档集应提供供方的联系方式,以便用户反馈满意度信息。
用户文档集应能帮助用户达到产品说明陈述的使用质量抗风险的目标。
用户文档集应能帮助用户达到产品说明中陈述的使用质量周境覆盖的目标。
注: 对功能良好的验证可通过如下方式进行: 利用所提供的测试用例,或按相应的消息自测试,或由用户进行的其他测试。
5.3.1.2在给定的限制范围内,使用相应的环境设施、器材和数据,用户文档集中所陈述的所有功能应 是可执行的。
5.3.1.4软件不应自相矛盾,并且不与产品说明和用户文档集矛盾。 注: 两种完全相同的动作将产生同样的结果。
5.3.1.5 由遵循用户文档集的最终用户对软件运行进行的控制与软件的行为应是一致的。
5.3.3.1如果用户可以进行安装操作,则软件应提供一种方式来控制已安装组件的兼容性。 5.3.3.2软件应按照用户文档集和产品说明中所定义的兼容性特征来执行。
5.3.3.3如果软件需要提前配置环境和参数,以执行已定义的兼容性,应在用户文档集中明确说明 5.3.3.4在用户文档集中应明确指明兼容性、功能、数据或流的类型。
5.3.3.6如果用户可以进行安装操作,且软件在安装时对组件有共存性的约束条件,则在安装前应予以 明示。
5.3.4.1用户在看到产品说明或者第一次使用软件后,应能确认产品或系统是否符合其需要。
5.3.4.2有关软件执行的各种问题、消息和结果都应是易理解的。 注1: 借助以下的手段可以达到易理解性:
5.3.4.3每个软件出错消息应指明如何改正差错或向谁报告差错。 注: 这种信息可以是对用户文档集中某一项的引用。
5.3.4.4出自软件的消息应设计成使最终用户易于理解的形式。 注: 这些消息可能是:
5.3.4.5屏幕输入格式、报表和其他输出对用户来说应是清晰且易理解的。
5.3.4.6对具有严重后果的功能执行应是可撤销的,或者软件应给出这种后果的明显警告,并且在这种 命令执行前要求确认。
注: 数据的删除和盖写以及中断一个很长的处理操作均具有严重的后果。
5.3.4.7借助用户接口、帮助功能或用户文档集提供的手段,最终用户应能够学习如何使用某一功能。
5.3.4.8当执行某一功能时,若响应时间超出通常预期限度应告知最终用户。
5.3.4.9每一元素(数据媒体、文件等)均应带有产品标识,如果有两种以上的元素,则应附上标识号或
5.3.5.1软件应按照用户文档集中定义的可靠性特征来执行。
5.3.5.2与差错处置相关的功能应与产品说明和用户文档集中的陈述一致。 注: 软件不能承担源自操作系统或网络的各种失效的责任。
5.3.5.3在用户文档集陈述的限制范围内使用时,软件不应丢失数据。 注: 这种要求即使在下面的情况下也要满足:
——由产品说明中列出的其他软件或由最终用户所造成的不正确输入;
5.3.5.4软件应识别违反句法条件的输入,并且不应作为许可的输入加以处理。
5.3.5.5软件应具有从致命性错误中恢复的能力,并对用户是明显易懂的。
5.3.6.1软件应按照用户文档集中定义的信息安全性特征来运行。
5.3.6.2软件应能防止对程序和数据的未授权访问(不管是无意的还是故意的).
5.3.6.3软件应能识别出对结构数据库或文件完整性产生损害的事件,且能阻止该事件,并通报给授权 用户。
5.3.6.4软件应能按照信息安全要求,对访问权限进行管理。
5.3.6.5软件应能对保密数据进行保护,只允许授权用户访问。
5.3.7.1软件应按照用户文档集中定义的维护性特征来执行。
5.3.8.1如果用户能够实施安装,遵循安装文档中的信息应能成功地安装软件。
5.3.8.2对于软件应用程序的成功安装和正确运行,应就产品说明中列出的所有支持平台和系统加以 证实。
5.3.8.3软件应向用户提供移去或卸载所有已安装的组件的方法。
5.3.9.1软件应按照产品说明中陈述的使用质量——有效性特征来执行并通过用户文档获得帮助。
5.3.9.2软件应能提供评价其对期望的依从性目标的影响的手段。
5.3.10.1软件应按照产品说明中陈述的使用质量 效率特征来执行并通过用户文档获得帮助。
5.3.10.2软件应能提供评价其在须达到目标时的使用效率的手段。
5.3.11.1软件应按照产品说明中陈述的使用质量-—满意度特征来执行并通过用户文档获得帮助
5.3.11.2维护合同生效后,软件应提供直接与供方进行联络的途径。
5.3.12.1软件应按照产品说明中陈述的使用质量—抗风险特征来执行并通过用户文档获得帮助。
5.3.12.2对于所有有风险的功能,软件应提供特定的确认过程和管理权限。
5.3.13.1软件应按照产品说明中陈述的使用质量——周境覆盖特征来执行并通过用户文档获得帮助。
5.3.13.2如果软件使用参数限制功能性覆盖,用户应了解当前使用的功能的覆盖情况。
测试文档集的目的是证实软件与5.3中规定的要求的符合性。其中包含允许作这种证实的全部 元素。
6.1.2.1测试文档集中的每个文档所包含的信息应是正确的并且是可验证的。
6.1.2.2测试文档集中的每个文档不应自相矛盾,并且不应与产品说明和用户文档集矛盾。
6.1.3.2测试文档集应包含组成该汇集的全部文档的清单,清单中应包含全部文档的标题及其标识符。
6.1.4.1在产品说明和5.3软件质量要求中提及的所有质量特性均应经测试用例测试。
6.1.4.2在产品说明和5.3软件质量要求中提及的每个质量特性至少应经一个测试用例测试。
注: 测试计划可引用任何其他文档,前提是被引用的文档与用户文档集之间存在某种关系。 6.1.4.3用户文档集中说明的所有功能,以及待完成的任务的代表性的功能组合,均应经测试用例 测试。
6.1.4.4用户文档集说明的每个功能至少应经一个测试用例测试。
6.1.4.5测试用例应能证实软件与用户文档集中的陈述的符合性。
6.1.4.6当产品说明中提及需求文档时,所涉及的内容应经测试用例测试。
6.1.4.7应指明选作测试用例设计基础的功能分解层次。 注: 功能可能是:
6.1.4.8应指明测试用例的设计方法。 注: 可能的设计方法有:
6.1.4.10在产品说明和用户文档集中指明的所有操作限制均应经测试用例测试。
6.1.4.11对所标识的违反句法条件的输入应经测试用例测试。
6.1.4.12如果用户文档集中给出若干示例,这些示例应用作测试用例,但整个测试不应局限于这些 示例。
6.1.4.13当5.3软件质量要求中的任何要求不适用时,应说明理由。
6.1.4.14应对产品说明和用户文档集中所陈述的所有配置进行测试。
测试计划应指明用于判定测试结果是否证实软件与产品说明和用户文档集的符合性准则。
6.2.4.1测试计划应识别、更新并记录测试活动中存在的风险,并提供应对措施。
6.2.6.2如果使用特殊的工具和环境,测试计划中应说明选择这些工具和环境的原因以及预期的结果。
测试计划中应规定沟通机制和方式,以便在利益相关方之间共享测试文档和测试项。
i) 可陈述的对基于GB/T 25000.10-2016的质量特性的引用。 6.3.1.2当有必要提供与测试计划中提供的信息相比对的补充信息时,应陈述环境及其他测试条件(详 细的配置和初步工作).
6.3.2.2为提供测试的可重复性和可再现性,测试规程应足够详细。
6.3.2.3在软件被纠正之后,对于所涉及的功能和任何相关的功能,应有一种重新测试的规程。 注: 说明测试规程可采用伪语言或命令语言。
6.4.1.2执行报告应证实已按测试计划执行了所有测试用例。
g)可陈述的对基于GB/T 250.10-2016的质量特性的引用。
6.4.2.1异常情况报告应包括所发现的全部异常汇总。如果有的话,还应包括纠正情况和通过再测试 的验证情况。
6.4.2.2对于每个异常,异常情况报告的说明性部分应包括如下内容:
d) 执行测试用例中异常发生点; e)异常的严重程度和可重现程度;
fD 可陈述的对基于GB/T 25000.10—2016的质量特性的引用。
注1: 异常的严重程度可以是"致命的"“严重的"“重大的""微小的"轻微的"。
注2: 可重现程度可以是"总是出现""有时出现""随机出现"未尝试""不可再现""N/A"
6.4.2.3异常情况报告的纠正部分应论证发现的所有异常均已纠正,或者未纠正的原因。
6.4.2.4异常情况报告的纠正部分对每个纠正项应包含如下内容:
6.4.5.异常情况报告中经重新测试验证的部分,应证实所有已纠正的功能都具有用户文档集中定义 的行为。
f) 可陈述的对基于GB/T 25000.10-2016的质量特性的引用。
关于执行报告和异常情况报告的评估应表明:在所使用的判定测试结果是否在该软件的符合性准 则的界限内,所有的期望行为是可获得的。
作为RUSP组成部分的产品说明、用户文档集以及所交付的软件,应就其与第5章的要求做符合 性评价。
注: "符合性评价"这一术语并不隐含任何技术或工具: 测试、确认、验证、评审、分析等。
这些细则主要针对符合性评价组织进行的评价。符合性评价组织可以是根据某种认证模式工作的 测试实验室,或是独立于RUSP供方的内部测试实验室。
对于RUSP的评价,待交付的所有项(见5.2.4.8)以及在产品说明中标识的需求文档(见5.1.3.5)均 应是可用的。
在产品说明中说明的所有计算机系统的所有组件均应存在,并是可供符合性评价使用的。
通过产生符合第6章要求(不包括与纠正异常和重新测试验证相关的部分)的测试文档集(6.4.2.3~ 6.4.2.6)来实施符合性评价,以确定软件与5.3的要求的符合性。
注:测试文档集包括对发现的异常的说明部分,然而对所发现的异常的纠正超出符合性评价组织符合性评价的
供方将RUSP提供给符合性评价组织。供方还可提供测试文档集。
当供方仅提供RUSP而没有提供测试文档时,符合性评价组织应:
a) 依据7.3的要求,对产品说明、用户文档集及软件实施符合性评价;
b) 依据7.5的要求,将结果记录在符合性评价报告中。 当供方提供RUSP和测试文档时,符合性评价组织应:
a) 依据7.3.1和7.3.2的要求,对产品说明和用户文档集实施符合性评价; b)依据第6章的要求,对测试文档实施符合性评价;
注1: 测试文档与第6章的要求的符合性确立了软件与5.3的要求的符合性。
f) 符合性评价活动汇总以及(若有时)测试活动汇总; g)符合性评价结果汇总以及(若有时)测试结果汇总;
符合性评价报告的结果部分【上述的f～h)】应包含产品说明和用户文档集的符合性评价结果。 根据所提供的元素,它还应包含以下两项之一:
a) 在供方仅提供RUSP而未提供测试文档的情况下,应包含该软件相对于5.3的要求的测试结 果,即异常情况报告(见6.4.2.2)的说明性部分;
b)在供方提供RUSP和测试文档的情况下,应包含测试文档与第6章的要求的符合性评价 结果。
注: 符合性评价报告仅包含异常情况报告的说明部分,因为纠正异常不是符合性评价组织的职责。
对纸质的符合性评价报告而言,符合性评价报告的标识(测试实验室、RUSP标识、符合性评价报告 日期)及其总页数均应出现在符合性评价报告的每一页上。
a) 效果声明: 测试结果(若有时)和评价只与被测试和被评价的项有关;
b) 复制声明:除非以完整报告的形式复制,否则未经测试实验室书面批准不得部分复制符合性 评价报告。
对已进行过符合性评价的 RUSP再次进行评价时,要考虑前次的符合性评价。评价活动如下:
a) 文档和软件中的所有变更部分都应予以评价,视同新的 RUSP;
b) 预计要受到变更部分影响的,或受到所要求的系统的变更影响的所有未变更部分均应予以评 价,视同新的 RUSP;
对于业务或安全攸关的应用系统,在评价其 RUSP的应用时,RUSP的用户最好既考虑产品和过 程的属性,也要考虑应用的功能。
可由RUSP支持的软件设计目标可能包括A.2~A.7几个方面。
a) 对RUSP规格说明的有高级要求时,可采用第5章的"质量要求"作为输入,以便详化 RUSP
b） 当要求测试软件作为RUSP的组成部分时: 可根据第6章"测试文档集要求"中定义的要求详
c) 对于要证实RUSP的质量时,即证实与本部分的符合性时,可依据第7章进行符合性评价。然 后,基于符合性评价报告作出认证或供方声明。
注: 这3种可能的方式原则上是累加的,即一种情况只有在前面情况付诸实现后才能展开。 另外,附录 A可用于业务或安全攸关的软件。
【2】 GB/T11457-2006 信息技术 软件工程术语
【3】 GB/T15481-2000 检测和校准实验室能力的通用要求(idt ISO/IEC17025:1999)
【4】 GB/T16260.2-2006 软件工程 产品质量 第2部分: 外部度量(ISO/IECTR 9126-2: 2003,IDT)
【5】 GB/T16260.3-2006 软件工程 产品质量 第3部分: 内部度量(ISO/IEC TR 9126-3: 2003,IDT)
【6】 GB/T 16260.4-2006 软件工程 产品质量 第4部分: 使用质量的度量(ISO/IEC TR 9126-4: 2004,IDT)
【7】 ISO/IEC导则2:2004 标准化及相关的活动 一般词汇表
【8】 ISO/IEC17050-1: 2004 符合性评定 供方的符合性声明 第1部分: 一般要求
【9】 ISO/IEC17050-2:2004 符合性评定 供方的符合性声明 第2部分:支持文档
【10】 ISO/IEC9127 软件工程一顾客软件包的用户文档集和封面信息
【1】 ISO/IEC9241-1: 1997 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第1部分:一般介绍
【12】 ISO/IEC 9241-2:1992 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第2部分:任务要求指南
【13】 ISO/IEC 9241-11: 1998 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第11部分:易用性指南
【14】 ISO/IEC 9241-12: 1998 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第12部分:信息表示
【15】 ISO/IEC 9241-13: 1998 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第13部分:用户指南
【16】 ISO/IEC 9241-14: 1997 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第14部分:选单对话框
【17】 ISO/IEC 9241-15:1997 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第15部分:命令对话框
【18】 ISO/IEC9241-16: 1999 具有可视化显示终端(VDTs)的办公室工作的人类工效学要求 第16部分:直接操纵对话框
【19】 ISO/IEC12207:2008 系统与软件工程 软件生存周期过程
【20】 ISO/IEC15026 信息技术 系统与软件完整性级别
【21】 ISO/IEC 25021 系统与软件工程 系统与软件产品质量要求和评价(SQuaRE) 质量测 量元素
【22】 ISO/IEC25062 软件工程 软件产品质量要求和评价(SQuaRE) 易用性测试报告的通 用行业格式
【23】 IEEE Std 1044-2009 IEEE标准 异常分类
