www.jiliangjiaozhun.com
详细信息
  当前位置:首页 -> 计量知识 -> CNAS检测和校准实验室能力认可准则在软件和协议检测领域的应用指南

CNAS检测和校准实验室能力认可准则在软件和协议检测领域的应用指南

发布时间: 2017-11-19
 2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施

CNAS-GL11
检测和校准实验室能力认可准则
在软件和协议检测领域的应用指南
Guidance on the Application of Testing and
Calibration Laboratory Competence Accreditation
Criteria in Software and Protocol Testing
Laboratories
中国合格评定国家认可委员会
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
目 录
前 言 .......................................................................................................................................................... 1
一.适用范围 .......................................................................................................................................... 2
二、对检测和校准实验室认可准则”(CNAL/AC01)的解释.................................................. 3
4.管理要求............................................................................................................................................. 4
4.1 组织................................................................................................................................................. 4
4.6 服务和供应品的采购................................................................................................................ 5
4.13 记录的控制................................................................................................................................ 5
5.技术要求............................................................................................................................................. 6
5.2 人员................................................................................................................................................. 6
5.3 设施和环境条件.......................................................................................................................... 6
5.4 检测和校准方法及方法确认 .................................................................................................. 9
5.5 设备 ............................................................................................................................................. 14
5.6 测量溯源性................................................................................................................................ 20
5.8 检测和校准物品的处置 ......................................................................................................... 21
5.9 检测和校准结果质量的保证 ................................................................................................ 22
5.10 结果报告 .................................................................................................................................. 22
附录........................................................................................................................................................... 27
附录 A 术语汇编 ............................................................................................................................ 27
附录 B 参考文献 ............................................................................................................................ 34
CNAS-GL11:2007 1 页 共 35
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
前 言
本指南旨在为信息技术和电信检测领域中的软件和协议检测实验室按照中国合格
评定国家认可委员会(CNAS)《检测和校准实验室能力认可准则》(CNAS-CL01,等同
采用 ISO/IEC17025 2005)建立质量管理体系提供指南。指南内容基于 ISO/IEC 技术
报告 13233 1995《信息技术:信息技术和电信检测领域中的软件和协议检测实验室的
认可 ISO/IEC 导则 25 中认可要求的解释》,此技术报告在国际标准化组织(ISO)
技术报告的分类中是属于只要技术内容依然有效就无需进行复审和更新的文件类型,因
此尽管该技术报告颁布较早,但技术内容至今还是有效的。考虑到 ISO/IEC 导则 25
ISO/IEC17025 2005 取代,因此在本指南的起草过程中,已将 ISO/IEC 技术报告
13233 ISO/IEC 导则 25 的解释对应到 ISO/IEC17025 2005 相应条款中,在技术内
容上是等同采用了 ISO/IEC 技术报告 13233 的内容。
本指南是 CNAS 的指南性文件,只对软件和协议检测实验室在实施 CNAS-CL01(等
同采用 ISO/IEC17025)时提供指引,并不增加 CNAS-CL01 的要求。
本指南的翻译和编制得到了中国电子技术标准化研究所、中国信息安全产品测评认
证中心、中国软件评测中心、 国家电子计算机质量监督检验中心和信息产业部通信软件
测评中心的大办协助,在此表示感谢。
本指南编写人员: 肖向荣 何伟起 符荣梅 李海波 戈志勇
中国合格评定国家认可委员会
CNAS-GL11:2007 2 页 共 35
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
一.适用范围
1.本指南适用于信息技术和电信(IT&T)检测领域内提供软件和协议检测服务(包括检测手段
(MOT)和测试工具的确认)的实验室,旨在为评审员和检测实验室提供指导。
2.实验室可以自己进行检测手段(MOT)和测试工具的确认,也可以使用其它实验室提供的确认
服务。检测手段
(MOT)和测试工具的确认服务是一种特殊类型的软件检测服务,可以被视为一个系统
或被测实现(
SUT),因此本指南还适用于提供检测手段(MOT)和测试工具确认服务的实验室。
注: IT&T 的许多领域中, 要求使用已认可的检测手段(MOT)和测试工具确认服务, 从经济上和
技术水平上是不现实的。根据目前认可发展趋势,将来 CNAL 会提供对检测手段(MOT)和测试工具
确认服务的认可,但并不能强制要求检测实验室必须使用已认可的确认服务,因为有可能还存在其它
的检测手段(MOT)和测试工具确认服务的形式。最终是否强制要求实验室使用已认可的检测手段
(MOT)和测试工具的确认服务将取决于该领域的技术发展、 CNAL 认可的发展以及认可结果国际同行
互认要求的变化。
3.本指南适用于软件和协议的符合性检测及其它类型的客观性检测。对于开放系统互连(OSI)、
电信协议、产品数据交换(如
ISO TC 184 中所规定的)、图形软件、可移植操作系统接口(POSIX)
和编译器的检测,本指南给出了专门的解释。需特别声明,本指南不适用于以下领域:
a. 校准实验室;
b. 硬件的物理特性检测;
c. 在 IT&T 安全和软件质量评价(ISO/IEC 9126)中规定的系统和产品评价;
d. 针对安全软件和通用应用软件的检测。
4.本指南中对符合性检测有专门的解释。但本指南中所给出的通用解释适用于各种类型的客观
性检测,包括测量一些客观性的性能(如,对于一些可编程语言的编译器检测), 以及
IT&T 领域内
某个子领域的一些检测类型。为了得出测试用例的最终结果, 测试操作人员根据合理并客观的程序所
进行的分析,本指南也给出了相应的解释。
1:通常,在一个测试集中每个单独的测试用例的设计都会产生一个测试判断,即通过、未通
过或不确定结论(inconclusive)的声明。
2:符合性检测涉及到依据一个或多个标准(或其它标准规范)中规定的符合性要求来检测实
现。符合性检测实现所依据的标准通常应是国际标准,但有时也可能是 ITU-T 建议、区域或国家标
准,或者甚至是一个制造商的规范,因为当制造商寻求独立的实现符合性验证时,制造商的规范也构
CNAS-GL11:2007 3 页 共 35
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
成符合性验证依据。
3:在符合性检测中所使用的测试用例也可以标准化,但是在软件和协议检测领域中,它与规
定了应符合哪些实现要求的标准之间通常有很大的区别。
4:每个测试判断的得出应当考虑测试用例的目的和相关标准要求 。作为选择,一个测试集
可以规定通过、 未通过或不确定结论的不同级别的判断(如:未通过级别 1--严重不符合;未通过级
2--无效表现,但满足测试目的),但这并不改变测试判断本身的性质。
5.本指南针对«检测和校准实验室认可准则»(CNAL/01)的具体条款给出了指南,条款号直接引
用准则中解释性的条款号,故条款号是不连续的。
二、对检测和校准实验室认可准则”(CNAL/AC01)的解释
3.术语和定义
1) 为统一理解,本指南中增加了一些定义,详见附录 A
2) 在本指南中,使用了以下缩略语:
ICS(implementation conformance statement) 实现符合性声明
IUT (implementation under test) 被测实现
ITU-T International Telecommunications unio, Telecommunications sector) 国际电信联盟
IXIT implementation extra information for testing)检测实现附加信息
MOT means of testing) 检测手段
OSI open systems interconnection) 开放系统互连
POSIX portable operating systems interface) 可移植操作系统接口
SUT system under test) 被测系统
3) 对于本指南,区分 MOT 和测试工具是至关重要的。 MOT 是指为进行所要求的检测而使用
的硬件和
/或软件及其应用程序,包括可执行的测试集本身。对已获得认可的检测服务, MOT 是在检
测实验室的控制下运行的。
在本指南中,测试工具是指为了进行或辅助进行所要求的检测而使用的硬件和
/或软件,不包括
测试集本身。测试工具涉及运行测试用例或结果分析。与运行测试用例相关的内容也可能包括测试用
例的参数化、选择或甚至于生成测试用例。

CNAS-GL11:2007 4 页 共 35
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
注: MOT 和测试工具的复杂性是随软件检测领域的不同而变化。例如,在 OSI 和电信协议检测
中,每个 MOT 都是在检测中起重要作用的很复杂的硬件和软件系统;而在编译器检测中,除了(程
序的)测试集本身之外,只使用了少量的辅助软件测试工具。
4.管理要求
4.1 组织
4.1.5 b)
有措施保证其管理层和员工不受任何对工作质量有不良影响的、来自内外部的不正当的商业、
财务和其它方面的压力和影响。
商业参考实现的使用
1.如果检测实验室或确认实验室将某一商业实现(未设计成参考实现)作为参考实现来进行实
验室内部
MOT 确认,那么,实验室应对该实现及其它可获得实现的技术覆盖范围的充分性进行评审。
如果与其它实现相比较,该实现的技术覆盖范围是不充分的,则实验室应当在一定的期限内以下列任
一适宜的实现来取代:
a) 另一个有更好覆盖范围的实现;
b) 由不同的供应商提供的一组实现;
c) 设计成参考实现的实现。
如果选择了一组实现,那么该实现的技术范围应能更好地覆盖相关规范,而不是出于商业方面的
考虑来选择实现。
1:不过已认识到,对于某些 IT&T 标准,在 MOT 确认中只能使用普通的商业实现作为参考
实现。在这种情况下,公布参考实现的来源和特性可能无意中给供应商带来商业利益。
2:采用普通的商业实现作为参考实现以及选择哪种商业实现是由实验室来决定的。
3:在某些情况下,可能必须使用多种参考实现来进行 MOT 确认,以确保能检查 MOT 的所
有特性。这是由于某一给定的商业实现可能只支持相关规范的子集(或侧面),这作为一种临时解
决方案是可以接受的,特别是当市场主要关注的是该子集时;但如果检测服务完全覆盖规范时,作为
长期解决方案是不充分的。中国计量校准网给你提供专业的计量检测设备仪器校准化验室检验的专业知识。http://www.jiliangjiaozhun.com/

CNAS-GL11:2007 5 页 共 35
2007 04 16 日发布 2015 06 01 日第一次修订 2015 06 01 日实施
4.6 服务和供应品的采购
4.6.2
实验室应确保所购买的、影响检测和/或校准质量的供应品、试剂和消耗材料,只有在经检查
或证实符合有关检测和/或校准方法中规定的标准规范或要求之后才投入使用。
1.这些要求适用于使用检测实验室外部机构提供的 MOT(检测手段)、测试工具和确认服务。
注: 外部这个词应被理解为检测实验室以外。因此,确认服务可以由同一组织的其它部门提
供,只要它在组织结构上是一个与检测实验室相分离的部门,就被视为外部支持服务。
MOT 或测试工具确认服务只是外部服务的一个例子,它也是被认为有必要做出解释的唯一例子。
2.对于检测实验室使用外部机构提供的确认服务,实验室应得到每种服务独立的质量保证。
注:如果得不到这种质量保证,检测实验室必须有程序确保 MOT 和测试工具符合规定的要求;
换言之,检测实验室必须提供自己的确认服务,而不能使用外部机构提供的确认服务。
4.13 记录的控制
4.13.1.4
实验室应有程序来保护和备份以电子形式存储的记录,并防止未经授权的侵入或修改。
记录的完整性和机密性
1. 检测实验室应采取措施, 确保无论在检测期间还是在检测之后,第三方都不能访问在线记录。
注:对于 IT&T 检测,记录包括检测过程中的在线记录(例如,在 OSI 和电信协议检测过程中的
符合性日志)。
2.如果检测是在客户系统上进行的,客户系统在检测期间可能向第三方开放访问,则检测实验
室应确保客户控制的检测环境,在检测期间第三方不能访问正在进行检测的客户系统。
注:这种保护是确保测试记录的完整性和机密性所必需的。
3.此外,如果检测是在客户系统上进行的,客户系统在检测完成之后向第三方开放访问,并且
客户要将测试记录放在其系统上,那么,客户应提供一份书面承诺,说明对测试记录负全部责任。如
果客户没有做出这样的承诺,检测实验室应当首先就妥善的删除方式与客户达成协议,然后删除测试
过程中在客户系统上生成的所有记录

注:对于在检测实验室以外的地点进行的检测,发生这种情况的可能性最大。
CNAS-GL11:2007 6 页 共 35
2007 04 16 日发布 2015