-性能验收测试方案性能验收测试方案新车险承保系统测试中心新车险承保系统测试团队测试中心新车险承保系统测试团队20102010年年6 6月月大纲大纲l测试目的l测试范围l测试策略l测试环境l测试计划2测试目的 性能测试是针对系统并发处理能力、交易响应时间等性能指标所进行的测试。目的是在尽可能模拟生产环境的前提下，实现以下目标：模拟系统在实际生产环境下峰值时的系统处理能力及性能表现。检测软件中的问题：通过并发测试执行，揭示程序中的隐含的问题或冲突，从而修复系统中的薄弱环节。通过对各项测试及监控结果的综合分析，发现、定位性能瓶颈，为改善系统性能提供整体优化方案，为后期性能调优提供参考依据通过性能测试，获得测试环境中系统的整体性能与性能需求的满足程度，为系统上线的性能风险评估提供依据。3测试范围测试通过标准最大并发数：100TPS（每秒事务数）：200单笔交易的平均响应时间： =3s单笔交易的最大响应时间：=95%CPU利用率（CPU占用率最优状态）：=70%内存利用率： =60%注注：以上指以上指标仅供参考供参考4测试范围_测试内容测试内容l相关系统l涉及业务5测试范围_测试内容相关系统l车险承保系统（重点关注）典型交易的选取原则遵循：交易比较复杂的交易，遍历模块比较多流程复杂；交易比较频繁，每天的使用率都非常高；交易数据量大，提交的内容比较多的交易；l核保系统l见费出单系统 6测试范围_测试内容车险承保系统涉及业务_1报价管理l报价单录入l报价单查询投保管理l投保单录入l投保单查询l保单查询7测试范围_测试内容车险承保系统涉及业务_2批改管理l全单批改录入l新车上牌l全单批退l批改保险期限l批单查询8测试范围_测试内容车险承保系统涉及业务_3团单管理l车队录入l车队查询l团单投保录入l团单投保查询系统登录9测试范围_测试内容核保系统涉及业务l商业险核保l保单核批见费出单系统涉及业务l见费出单交费10测试范围_测试内容选取业务：报价单录入商业和交强险关联投保；投保险别为 ：车损险、三者责任险、车上人员责任险、盗抢险、玻璃单独破碎险、车身划痕险；选取业务：报价单查询查询条件：报价单号11测试范围_测试内容选取业务：投保单录入见费出单业务；商业和交强险关联投保；投保险别为 ：车损险、三者责任险、车上人员责任险、盗抢险、玻璃单独破碎险、车身划痕险，家庭自用汽车不投保三者险，只投保车损险或者盗抢险或者车身划痕险需要人工核保，以上不计免赔；优惠：连续两年无赔偿80%，安全驾驶90%，多险种投保95%，驾龄小于1年105%；增加共保信息、特约临分信息；续保；12测试范围_测试内容选取业务：投保单查询查询条件：投保单号选取业务：保单查询查询条件：投保单号13测试范围_测试内容选取业务：全单批改录入商业险批改(商业险保单号、交强险保单号)选取业务：新车上牌商业险批改(商业险保单号、交强险保单号)选取业务：全单批退商业险批改(商业险保单号、交强险保单号)选取业务：批改保险期限商业险批改(商业险保单号、交强险保单号)选取业务：批单查询查询条件：批单申请号；14测试范围_测试内容选取业务：车队录入车队：50辆车选取业务：车队查询查询条件：车队编号选取业务：团单投保录入团单：50辆车选取业务：团单投保查询查询条件：团单号15测试范围_测试内容选取业务：商业险核保使用承保系统录入投保单进行核保；归属机构湖南省分公司的走核保流程;交强险核保自动核保通过，不需走核保系统;选取业务：保单核批使用承保系统提交批改管理进行核批，相关业务：全单批改录入、新车上牌、全单批退、批改保险期限；归属机构湖南省分公司的走核保流程;选取业务：见费出单交费使用核保系统核保通过的保单；归属机构为长沙分公司的走见费出单流程;16测试方法l测试需求分析l测试数据准备l脚本录制l测试场景设计l场景执行l测试资源监控l测试结果分析l测试总结17测试场景设计l基准测试 测试环境确认之后，对业务模型中涉及的每种业务做基准测试。目的是检查业务本身是否存在性能缺陷。同时为将来的混合场景负载测试性能分析提供参考依据。l场景设置 编写测试客户端向PICC承保系统应用服务器发送业务请求并接收返回结果的脚本，在系统无压力情况下运行15分钟，每次迭代间等待1秒，取业务的平均响应时间作为衡量指标。详见测试场景设计。18单交易负载测试19并发用户数量并发用户数量场景名称场景名称执行脚本执行脚本事务点事务点运行时间运行时间时间间隔时间间隔递增策略递增策略递减策递减策略略20投保单录入投保单录入菜单、标的查询、关系人查询、保费计算、交强险计算、三年赔付率查询、保存5分钟无5个/秒同时50投保单录入投保单录入菜单、标的查询、关系人查询、保费计算、交强险计算、三年赔付率查询、保存5分钟无5个/秒同时70投保单录入投保单录入菜单、标的查询、关系人查询、保费计算、交强险计算、三年赔付率查询、保存5分钟无5个/秒同时100投保单录入投保单录入菜单、标的查询、关系人查询、保费计算、交强险计算、三年赔付率查询、保存5分钟无5个/秒同时混合场景20使用到的脚本编号：投保单录入投保单查询保单查询商业险核保见费出单虚拟测试用户数量最大值：（交易量配比）3015153010虚拟测试用户数总计100用户梯度数：5个/秒测试目的：模拟系统在实际生产环境下的系统处理能力及性能表现开始前提条件：测试数据已经全部准备完毕。混合场景操作用户数是否设置集结点是否设置事务预期结果实际场景持续时间1100否是交易成功率99%20分混合场景21使用到的脚本编号：全单批改录入全单批退新车上牌批单查询批改保险期限保单核批虚拟测试用户数量最大值：（交易量配比）101010201040虚拟测试用户数总计100用户梯度数：5个/秒测试目的：模拟系统在实际生产环境下的系统处理能力及性能表现开始前提条件：测试数据已经全部准备完毕。混合场景操作用户数是否设置集结点是否设置事务预期结果实际场景持续时间1100否是交易成功率99%20分监控方案l监控目的 监控车险承保系统各个资源状况，实时监控并且输出监控内容，协助测试执行中的问题分析； 分别从主机资源、WebLogic应用、以及Informix数据库的监控情况分析在性能测试过程中各个监控项是否出现异常现象以及执行过程中各个监控项的状况。l监控方法 车险承保系统监控采用监控文件输出方式以及过程实时监控相结合的方式。l服务器资源监控 主要对应用服务器、数据库服务器主机资源进行监控，采用NMON进行监控（监控的详细指标见测试方案）。22监控方案l中间件监控 通过管理控制台（Console）访问监控页面。即通过JMX代理对Mbeans执行Get操作来获得该资源的当前属性值（监控的详细指标见测试方案）。l数据库监控 Onstat实用程序以固定的形式从内表中统计出信息（详细指标见测试方案） 。lLoadRunner监控 Loadrunner的场景中主要监控系统处理交易的性能指标，如TPS、响应时间、吞吐量、每秒点击率等。 Loadrunner采取实时监控的方式，在场景开始运行过程中，就同时以图表的方式监控数据，场景运行结束后可生成报告。23网络拓扑图24测试计划25内容内容开始日期开始日期结束日期结束日期人力资源人力资源杨万鹏杨万鹏李勇君李勇君金涛金涛测试需求调研2010-06-082010-06-10测试环境和版本确认2010-06-082010-06-10测试方案编写2010-06-102010-06-13测试数据准备2010-06-172010-06-18测试脚本开发2010-06-122010-06-18测试场景设置2010-06-172010-06-18测试执行2010-06-212010-06-25测试结果分析2010-06-212010-06-25测试报告编写2010-06-252010-07-25欢迎提问，谢谢！