非功能性测试指南 上海银行信息技术部测试管理实施方案 1/14 Ver 1.0 非功能性测试指南文档名称: 非功能性测试指南 状态: 初始版本 版本号: 1.0 版本提交日期: 2012/08/13非功能性测试指南 Page 2 of 14- 文档信息 - 项目名称 上海银行测试体系咨询 文档版本编号 1.0 起草人 张红辉 文档版本日期 2010/3/31 复审人 复审日期 - 变更记录 版本号 更新内容 更新日 更新者 1.0 初始版本 2010/3/31 张红辉 - 审批人 签字 姓名 角色 审批日 批语 - 评审记录 评审人姓名 评审日期 评审相关文档部分 评审建议 作者对评审意见的回应非功能性测试指南 Page 3 of 14 目 录 1 目的和范围.4 2 术语和缩写.4 3 参考资料.4 4 角色对应关系.5 5 非功能性测试类型及其测试方法.5 5.1 安全性测试 .5 5.2 安装测试 .8 5.3 配置和兼容性测试 .8 5.4 易用性测试 .9 5.5 数据和数据库完整性测试 .11 5.6 接口测试 .11 5.7 文档测试 .12 5.8 失效恢复测试 .13非功能性测试指南 Page 4 of 14 1 目的和范围 本文档阐述了常用的非功能性测试类型及其测试方法，供相关测试人员安排测 试计划、设计测试和执行测试时参考。功能测试、回归测试和性能测试不在本文档 讨论范围，另有专门文档讨论。 本文档适用于上海银行信息技术部所有测试服务的非功能性测试工作。 2 术语和缩写 术语和缩写 解释 备注 安全性测试 测试应用或系统的安全机制 安装测试 测试被测软件在各种需要的软硬件配置下 能正确安装 配置/兼容性测试 测试被测软件在各种需要的软硬件配置下 能正确运行 易用性测试 考虑软件使用时人的因素和感受 数据和数据库完整 性测试 测试数据存取方法和过程等能正确运行， 在整个数据操作过程中和结束后没有数据被破 坏 接口测试 测试内部单元组合到一起后能够按照设计的意 图协作运行，接口的调用正确 文档测试 验证发布的软件产品中的文档的正确性，尤其 对与用户相关的文档 失效恢复测试 测试被测软件能成功地从硬件、软件或网络故 障中失效恢复而不会有数据的丢失 3 参考资料 参考文件 备注 TMMi Framework v2.0 Produced by the TMMi Foundation 上海银行信息技术部 ISO9001 2009.09 版（发布版）非功能性测试指南 Page 5 of 14 4 角色对应关系 角色 对应关系 业务人员 来自产品开发部/业务部门的业务需求发起者 测试需求分析人员 通常由信息技术部指派 测试组长 通常由信息技术部指派 测试设计人员 通常由信息技术部指派 测试执行人员 通常由信息技术部指派 开发组长 通常由信息技术部指派 5 非功能性测试类型及其测试方法 5.1 安全性测试 软件安全性轻则造成操作的不方便，重则造成数据的破坏或丢失甚至系统的崩 溃和人身的安全，因此，软件安全性是一个不容忽视的重要问题，我们可以简单地 把软件的安全性作为一个或多个特定的功能来考虑，从而在软件生命周期的早期就 加以考虑。 为了帮助设计一个安全的信息系统，在产品设计的最开始就必须注意安全的问 题，比如需求中应有安全性的相关项目、设计和代码评审应有专门针对安全性的内 容等等，然后才是测试。测试员仅仅能测试验证软件的安全性。当然，对于没有在 软件需求书上标明的可能影响系统运行安全的隐性需求测试人员也要努力的发现， 这也是一个有经验的安全性测试人员的可贵之处。 当然，理论上没有任何一个信息系统是安全的，因为只要进行攻击，任何系统 都能被攻破，只不过付出的代价的大小。而我们一般说某个信息系统是安全的就是 基于如果要攻破该系统所必须付出的代价要高于或远远高于攻破系统后获得的利益。 测试目标 测试应用或系统的安全机制，保证系统运行和使用的安全性 测试策略 采取静态分析技术和功能测试两种方式拦截系统开发时存在的漏洞 软件生命周期早期的代码、设计评审（由开发人员完成）对软件安全 性的提高非常有效和重要，可以人工评审和自动化工具结合的方法进 行非功能性测试指南 Page 6 of 14 更详细的测试策略描述请参看下文软件安全性测试详细策略参考 测试重点考 虑 相关信息安全法律法规的要求 测试环境 网络安全 日志评审 文件完整性检查 系统软件安全 客户端应用安全 客户端到服务端应用通讯安全 服务端应用安全 测试通过准 则 应用满足和符合采用的安全机制，在应用规定的程度上能保证系统正 常运行和安全使用 软件安全性测试详细策略参考： 软件安全性测试包括应用软件、网络系统、数据库和系统软件安全性测试。根 据系统安全指标不同测试策略也不同。 1. 用户认证安全的测试要考虑问题： 系统中是否有不同的用户使用权限 系统会不会因用户的权限的改变造成混乱 系统中会不会出现用户冲突 用户登陆密码是否可见、可复制 是否可以通过绝对路径登陆系统（拷贝用户登陆后的链接直接进入系统） 用户退出系统后是否删除了所有鉴权标记，是否可以使用后退键而不通 过输入口令进入系统 2. 应用方面安全的测试要考虑问题： 缓冲区溢出 无效的数据类型非功能性测试指南 Page 7 of 14 关键信息是否采用加密技术 是否可以通过绝对路径进入系统 使用的端口号 远程进入服务（如有） 文件完整性检查 日志评审 模拟黑客攻击 3. 系统网络安全的测试要考虑问题 物理连接上的安全，包括无线部分（如有） 防火墙、防病毒软件的安全 测试采取的防护措施是否正确装配好，有关系统的补丁是否打上 模拟非授权攻击，看防护系统是否坚固 采用成熟的网络漏洞检查工具检查系统相关漏洞 入侵网络监察系统和防护系统 采用各种木马检查工具检查系统木马情况 采用各种防外挂工具检查系统各组程序的外挂漏洞 4. 数据库安全考虑问题： 系统数据是否机密 系统数据的完整性 系统数据可管理性 系统数据的独立性 系统数据可备份和恢复能力（数据备份是否完整，可否恢复，恢复是否 可以完整） 5. 系统级别软件安全考虑问题： 系统级别软件（如操作系统、数据库系统和中间件系统等）是否最新的，尤其如果使用开源软件或免费软件 系统软件是否有相应的补丁，尤其是安全性方面的补丁包非功能性测试指南 Page 8 of 14 从安全性考虑，系统级别软件是否是最可靠的（如使用 Tomcat 还是 Weblogic） 从安全性考虑，系统级别软件是否匹配应用设计技术 5.2 安装测试 安装测试有两个目的。第一个目的是确保软件能够在不同的条件下进行安装， 例如，首次安装、升级安装、完整或自定义安装；在正常和异常条件下的安装。异 常条件例如磁盘空间不足、安装用户缺少目录创建权限等。第二个目的是验证软件 在安装后能正确操作。这通常意味着要运行大量为功能测试开发的测试用例。 建议对于安装测试，其重点应该放在第一个目的上，对于第二个目的可以根据 需要和实际情况穿插在后续的测试，如冒烟测试、功能测试中体现。 测试目标 验证被测软件在各种需要的软硬件配置下正确安装，包括下列情况： 新安装。一新的机器，先前从未安装过该软件 更新。该机器先前安装过该软件同样的版本 更新。该机器先前安装过该软件的老版本 测试策略 手工或自动化 不管是手工安装还是自动化脚本安装，都要严格按照用户安装手册规 定的操作步骤进行 测试重点考 虑 有没有安装手册 对于第二个目的的安装测试，怎样选取预先规定的功能测试的子集 测试通过准 则 对于第一个目的：确保软件能够在不同的条件下进行安装。成功的安 装应该是在整个安装过程中和安装完成后没有任何异常错误出现，能 成功登录该应用 对于第二个目的：验证软件在安装后能正确操作。这个需要运行预先 规定的一功能测试的子集 5.3 配置和兼容性测试 配置和兼容性测试验证被测软件在不同的软硬件配置下的操作和表现。非功能性测试指南 Page 9 of 14 在大多数生产环境中，特定的硬件规格，如客户端工作站、网络情况、服务器 配置甚至型号都会不同。另外，不同客户端工作站上也许有不同的软件负载，如不 同的应用软件、不同的浏览器、浏览器的不同版本的插件、驱动程序等等；甚者不 同的操作系统，如 Windows XP, Windows Vista 等等；服务器软件也会不一致，如 数据库软件，如 Oracle, Microsoft SQLServer、中间件软件等等。 该类测试对产品显得尤其重要。对于项目来说也有巨大的指导作用，如项目经 理为了最优化配置（从成本和实用的角度等），就需要进行不同软硬件情况下的配 置和兼容性测试。该类测试也往往和性能测试相结合以决定在不同软硬件情况下的 最优化配置（如从成本和实用的角度等）。 测试目标 验证被测软件在各种需要的软硬件配置下能正确运行 测试策