资源预览内容
第1页 / 共32页
第2页 / 共32页
第3页 / 共32页
第4页 / 共32页
第5页 / 共32页
第6页 / 共32页
第7页 / 共32页
第8页 / 共32页
第9页 / 共32页
第10页 / 共32页
亲,该文档总共32页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
全面软件质量管理全面软件质量管理剖析软件质量的内涵剖析软件质量的内涵内建高质量而非修补质量内建高质量而非修补质量 上上 海海 漫漫 索索 计计 算算 机机 科科 技技 有有 限限 公公 司司全面软件质量管理(3)课件目录目录1. 引言引言 2. 软件质量属性和质量要素软件质量属性和质量要素3. 商业目标决定质量目标商业目标决定质量目标4. 质量保证能够保证质量吗质量保证能够保证质量吗5. 质量人员的状况质量人员的状况6. 全面软件质量管理:模型全面软件质量管理:模型7. 全面软件质量管理:制定质量计划全面软件质量管理:制定质量计划8. 全面软件质量管理:技术评审全面软件质量管理:技术评审9. 全面软件质量管理:软件测试全面软件质量管理:软件测试10. 全面软件质量管理:过程检查全面软件质量管理:过程检查11. 全面软件质量管理:缺陷跟踪工具全面软件质量管理:缺陷跟踪工具参考书:软件工程与项目管理解析,林锐参考书:软件工程与项目管理解析,林锐 著,电子工业出版社,著,电子工业出版社,2003全面软件质量管理(3)课件1. 引言引言 u软件质量管理是充满争论的话题。被人们奉为软件质量管理圣经的CMM和ISO9001似乎并不奏效,现实和理想之间的差距太大。u经典软件工程教科书以及CMM和ISO9001总是抛开商业目标谈质量管理,本末倒置,纸上谈兵,误导了大量读者,所以质量管理才变得那么艰辛。世界上还没有万能的软件质量管理圣经,我们不要迷信CMM和ISO9000。 u要多向有实战经验的同行专家请教,但是不要轻信“纸上谈兵”的专家。u本文给出了一套实用主义的“全面软件质量管理”方法。u重要的理念:商业目标决定质量目标商业目标决定质量目标。提高软件质量的最终目的是为了赢利,而不是创造完美无缺的产提高软件质量的最终目的是为了赢利,而不是创造完美无缺的产品。因此对于普通商业软件而言,并不是品。因此对于普通商业软件而言,并不是“质量越高越好质量越高越好”,而是恰好让广大用户满意,并且将提高质,而是恰好让广大用户满意,并且将提高质量所付出的代价控制在预算之内量所付出的代价控制在预算之内。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素 2.1 如何描述质量如何描述质量u词典对质量的定义是: 典型的或本质的特征; 事物固有的或区别于其他事物的特征或本质; 优良或出色的程度。uCMM 对质量的定义是: 一个系统、组件或过程符合特定需求的程度; 一个系统、组件或过程符合客户或用户的要求或期望的程度。 u上述定义很抽象,人们看了准会一脸迷惘。就让我们用“人的健康”来类比解释软件质量。古时候人们以为长得结实、饭量大就是健康,这显然是不科学的。现代人总是通过考察多方面的生理因素来判断是否健康,如测量身高、体重、心跳、血压、血液、体温等。如果上述因素都合格,那么表明这人是健康的。如果某个因素不合格,则表明此人在某个方面不健康,医生会对症下药。 u通过类比,我们这样理解软件质量: 软软件件质质量量是是许许多多质质量量属属性性的的综综合合体体现现,各各种种质质量量属属性性反反映映了了软软件件质量的方方面面。人们通过改善软件的各种质量属性,从而提高软件的整体质量(否则无从下手)。质量的方方面面。人们通过改善软件的各种质量属性,从而提高软件的整体质量(否则无从下手)。 u软件的质量属性很多,如正确性、精确性,健壮性、可靠性、容错性、性能、易用性、安全性、可扩展性、可复用性、兼容性、可移植性、可测试性、可维护性、灵活性等。u上述这些质量属性之间“你中有我,我中有他”,非常缠绵。如果开发人员每天要面对那么多的质量属性咬文嚼字,不久就会迂腐得像孔乙己,因此我们有必要对质量属性做些分类和整合。质量属性可分为两大类:“功能性”与“非功能性”,后者有时也称为“能力”(Capability)。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素 2.2 十大软件质量因素十大软件质量因素u功能性质量因素:正确性,健壮性,可靠性u非功能性质量因素:性能,易用性,清晰性,安全性,可扩展性,兼容性,可移植性u为什么是“十大” 质量因素 u逐一解释“十大” 质量因素(参见高质量程序设计指南C+/C语言)2.3 软件质量要素软件质量要素u什么是软件质量要素?(1)从技术角度讲,对软件整体质量影响最大的那些质量属性才是质量要素;(2)从商业角度讲,客户最关心的、能成为卖点的质量属性才是质量要素。u对于一个特定的软件而言,我们首先判断什么是质量要素,才能给出提高质量的具体措施,而不是一股脑地想把所有的质量属性都做好,否则不仅做不好,还可能得不偿失。u如如果果某某些些质质量量属属性性并并不不能能产产生生显显著著的的经经济济效效益益,我我们们可可以以忽忽略略它它们们,把把精精力力用用在在对对经经济济效效益益贡贡献献最最大大的的质量要素上。简而言之,只有质量要素才值得开发人员下功夫去改善。质量要素上。简而言之,只有质量要素才值得开发人员下功夫去改善。全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素 2.4 正确性正确性u正确性是指软件按照需求正确执行任务的能力。 “正确性”的语义涵盖了“精确性”。u正确性无疑是第一重要的软件质量属性。u技术评审和测试的第一关都是检查工作成果的正确性。 u机器不会主动欺骗人,软件运行出错通常都是人造成的,所以不要找借口埋怨机器有毛病。 2.5 健壮性健壮性 u健壮性是指在异常情况下,软件能够正常运行的能力。 u正确性描述软件在需求范围之内的行为,而健壮性描述软件在需求范围之外的行为。u开发者往往把异常情况错当成正常情况而不作处理,结果降低了健壮性。 u用户才不管正确性与健壮性的区别,反正软件出了差错都是开发方的错。所以提高软件的健壮性也是开发者的义务。u健壮性有两层含义:一是容错能力,二是恢复能力。从语义上理解,恢复不及容错那么健壮。 Unix容错能力很强,可惜不好用。Windows容错能力较差,但是恢复能力很好,而且很好用。占了90%的操作系统市场。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.6 可靠性可靠性 u可靠性是指在一定的环境下,在给定的时间内,系统不发生故障的概率。u可靠性本来是硬件领域的术语。比如某个电子设备在刚开始工作时挺好的,但由于器件在工作中其物理性质会发生变化(如发热),慢慢地系统的功能或性能就会失常。所以一个从设计到生产完全正确的硬件系统,在工作中未必就是可靠的。 u软件在运行时不会发生物理性质的变化,人们常以为如果软件的某个功能是正确的,那么它一辈子都是正确的。可是我们无法对软件进行彻底地测试,无法根除软件中潜在的错误。平时软件运行得好好的,说不准哪一天就不正常了,如有千年等一回的“千年虫”问题,司空见惯的“内存泄露”、“误差累积”问题等等。 u软件可靠性分析通常采用统计方法,遗憾的是目前可供第一线开发人员使用的成果很少见,大多数文章限于理论研究。口语中的可靠性含义宽泛,几乎囊括了正确性、健壮性。只要人们发现系统有毛病,便归结为可靠性差。从专业角度讲,这种说法是确切的。 u时隐时现的错误一般都属于可靠性问题,纠错的代价很高。例如当维护人员十万火急地赶到现场时,错误消失了;等维护人员回家后,错误又出现了。u软件可靠性问题主要是在编程时候埋下的祸害(很难测试出来),应当提倡规范化程序设计,预防可靠性祸害。全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.7 性能性能u性能通常是指软件的“时间-空间”效率,而不仅是指软件的运行速度。人们总希望软件的运行速度高些,并且占用资源少些。 既要马儿跑得快,又要马儿吃的少。 u性能优化的关键工作是找出限制性能的“瓶颈”,不要在无关痛痒的地方瞎忙乎。例如在大学里当教师,光靠使劲讲课或者埋头做实验,职称是升不快的。有些人找到了突破口,一年之内“造”它几十篇文章,争取破格升副教授、教授。 程序员可以通过优化数据结构、算法和代码来提高软件的性能。例如数据库程序的优化。算法复杂度分析是很好的方法,可以达到“未卜先知”的功效。 u性能优化就好像从海绵里挤水一样,你不挤,水就不出来,你越挤海绵越干。有些程序员认为现在的计算机不仅速度越来越高,而且内存越来越大,因此软件性能优化的必要性下降了。这种看法是不对的,殊不知随着机器的升级,软件系统也越来越庞大了和复杂了,性能优化仍然大有必要。最具有代表性的是三维游戏软件,例如Delta Force、古墓丽影、反恐精英等,如果不对软件(关键是游戏引擎)做精益求精的优化,要想在一台普通的PC上顺畅地玩游戏是不太可能的。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.8 易用性易用性u易用性是指用户使用软件的容易程度。u现代人的生活节奏快,干啥事都想图个方便。所以把易用性作为重要的质量属性对待无可非议。 u导致软件易用性差的根本原因 :理工科大学教育存在缺陷:没有开设人机工程学、美学、心理学这些必修课,大部分开发人员不知道如何设计易用的软件产品。开发人员犯了“错位”的毛病:他以为只要自己用起来方便,用户也就会满意。 u软件的易用性要让用户来评价。当用户真的感到软件很好用时,一股温暖的感觉油然而生,于是就用“界面友好”、“方便易用”等词来评价软件产品。 2.9 清晰性清晰性 u清晰意味者所有的工作成果易读、易理解,可以提高团队开发效率,降低维护代价。 u开发人员只有在自己思路清晰的时候才可能写出让别人易读、易理解的程序和文档。 u可理解的东西通常是简洁的。一个原始问题可能很复杂,但高水平的人就能够把软件系统设计得很简洁。如果软件系统臃肿不堪,它迟早会出问题。所以简洁是人们对工作“精益求精”的结果,而不是潦草应付的结果。与简洁对立的是“罗里罗嗦”。u千万不要把在学校里“造文章”的手法用于开发产品!如果把文章写得很简洁,让人很容易理解,投稿往往中不了;只有加上一些玄乎的东西,把本来简单的弄成复杂的,才会增加投稿的命中率。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.10 安全性安全性 u这里安全性是指信息安全,英文是Security而不是Safety。u安全性是指防止系统被非法入侵的能力,既属于技术问题又属于管理问题。u信息安全是一门比较深奥的学问,其发展是建立在正义与邪恶的斗争之上。这世界似乎不存在绝对安全的系统,连美国军方的系统都频频遭黑客入侵。如今全球黑客泛滥,真是“道高一尺,魔高一丈”啊! u开发商和客户愿意为提高安全性而投入的资金是有限的,他们要考虑值不值得。 u究竟什么样的安全性是令人满意的呢? 一般地,如果黑客为非法入侵花费的代价(考虑时间、费用、风险等因素)高于得到的好处,那么这样的系统可以认为是安全的。对于普通软件,并不一点要追求很高的安全性,也不能完全忽视安全性,要先分析黑客行为。 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.11 可扩展性可扩展性 u可扩展性反映软件适应“变化”的能力。 u在软件开发过程中,“变化”是司空见惯的事情,如需求、设计的变化,算法的改进,程序的变化等等。由于软件是“软”的,是否它天生就容易修改以适应“变化”?关键要看软件的规模和复杂性如果软件规模很小,问题很简单,那么修改起来的确比较容易,这时就无所谓“可扩展性”了。要是软件的代码只有100行,那么“软件工程”也就用不着了。 如果软件规模很大,问题很复杂,倘若软件的可扩展性不好,那么该软件就像用卡片造成的房子,抽出或者塞进去一张卡片都有可能使房子倒塌。 u现代软件产品通常采用“增量开发模式”,不断推出新版本,获取增值利润。可扩展性越来越重要。可扩展性是系统设计阶段重点考虑的质量属性。 u谈到软件的可扩展性,开发人员首先想到的是怎样提高可扩展性,于是努力去设计很好的体系结构来提高可扩展性,却不考虑该不该做这件事。从商业角度考虑,如果某个软件将不断地推出新版本,那么可扩展性很重要。但是如果软件永远都不会有下个版本(一次性买卖),那么根本无需提高可扩展性,何必自找苦吃呢! 全面软件质量管理(3)课件2. 软件质量属性和质量要素软件质量属性和质量要素2.12 兼容性兼容性u兼容性是指不同产品(或者新老产品)相互交换信息的能力。例如两个字处理软件的文件格式兼容,那么它们都可以操作对方的文件,这种能力对用户很有好处。 u兼容性的商业规则:弱者设法与强者兼容,否则无容身之地;强者应当避免被兼容,否则市场将被瓜分。如果你经常看香港拍的“黑帮”影片,你就很容易明白这个道理。金山软件公司的WPS与微软的Word之争。WPS一定要与Word兼容,否则活不下去。但是Word绝对不会与WPS兼容,除非WPS又在中国称老大。中国联通和中国移动的手机互联互通问题。(互联网的价值与用户数量的平方成正比)2.13 可移植性可移植性u软件的可移植性指的是软件不经修改或稍加修改就可以运行于不同软硬件环境(CPU、OS和编译器)的能力,主要体现为代码的可移植性。编程语言越低级,用它编写的程序越难移植,反之则越容易。这是因为,不同的硬件体系结构(例如Intel CPU和SPARC CPU)使用不同的指令集和字长,而OS和编译器可以屏蔽这种差异,所以高级语言的可移植性更好。Java程序号称“一次编译,到处运行”,具有100%的可移植性。为了提高Java程序的性能,最新的Java标准允许人们使用一些与平台相关的优化技术,这样优化后的Java程序虽然不能“一次编译,到处运行”,仍然能够 “一次编程,到处编译”。 u软件设计时应该将“设备相关程序”与“设备无关程序”分开,将“功能模块”与“用户界面”分开。全面软件质量管理(3)课件3. 商业目标决定质量目标商业目标决定质量目标3.1 教科书的片面观点教科书的片面观点u大凡软件工程教科书为了强调质量的重要性,总是要举一些历史上发生过的重大软件质量事故,例如航天飞机爆炸、核电站失事、爱国者导弹发生故障等等。这些事故的确不是危言耸听,给人们敲响了质量的警钟。 u学术界总是喜欢宣扬质量至上的理念,而忽视企业的商业利益,将质量目标凌驾于商业目标之上。我不能评判这种现象是好还是坏,但是的确误导了大量读者。许多软件人员都有“质量越高越好”的观念,这是被教科书灌输的,而不是他自己领悟出来的。 u我曾在著作高质量程序设计指南C+/C语言中大肆宣扬了高质量程序设计的理念,力求使C+程序达到“零缺陷”的质量目标。尽管此书得到了许多程序员的赞同,但是我经过反思之后改变了质量观念,我要着重指出的是:重重视视软软件件质质量量是是应应该该的的,但但是是“质质量量越越高高越越好好”并并不不是是普普适适的的真真理理。只只有有极极少少数数软软件件应应该该追追求求“零零缺缺陷陷”,对对绝绝大大多多数数软软件件而而言言,商商业业目目标标决决定定了了质质量量目目标标,而而不不该该把把质质量量目目标标凌凌驾驾于商业目标之上。于商业目标之上。3.2 严格系统对质量的要求严格系统对质量的要求u航空航天等系统对质量要求极高,任何缺陷都有可能导致机毁人亡,所以人们不惜一切代价去消除缺陷。在发射航天器之前,只要发现任何异常,就会立即取消发射指令,直到异常被消除为止。前苏联做得最过分,许多重大武器系统的负责人都签了生死状,系统研制成功则获得英雄勋章,失败则被枪毙。在这种压力下没有人敢对质量有一丝松懈。 全面软件质量管理(3)课件3. 商业目标决定质量目标商业目标决定质量目标3.3 普通商业软件:商业目标决定质量目标普通商业软件:商业目标决定质量目标u上述严格系统毕竟是少数,绝大多数普通软件的缺陷并不会造成机毁人亡这样的重大损失,否则没有人敢从事软件开发了。在日常工作中,我们接触过的软件几乎都是有缺陷的,即便是软件业老大Microsoft,它的软件产品也经常出错甚至导致死机,人们骂几句后还会照样使用有缺陷的软件。 u企业的根本目标是为了获取尽可能多的利润,而不是生产完美无缺的产品。如果企业销售出去的软件的质量比较差,轻则挨骂,重则被退货甚至被索赔,因因此此为为了了提提高高用用户户对对产产品品的的满满意意度度,企企业业必必须须提提高高产产品品的的质质量量。但但是是企企业业不不可可能能为为了了追追求求完完美美的的质质量量而而不不惜惜一一切切代代价价,当当企企业业为为提提高高质质量量所所付付出出的的代代价价超超过过销售收益时,这个产品已经没有商业价值了,还不如不开发销售收益时,这个产品已经没有商业价值了,还不如不开发。u企企业业必必须须权权衡衡质质量量、效效率率和和成成本本,产产品品质质量量太太低低了了或或者者太太高高了了,都都不不利利于于企企业业获获取取利利润润。企企业业理理想想的的质质量目标不是量目标不是“零缺陷零缺陷”,而是恰好让广大用户满意,并且将提高质量所付出的代价控制在预算之内。,而是恰好让广大用户满意,并且将提高质量所付出的代价控制在预算之内。 全面软件质量管理(3)课件4. 质量保证能够保证质量吗质量保证能够保证质量吗4.1 美丽的谎言美丽的谎言uCMM对软件质量保证是这样描述的:软件质量保证(Quality Assurance)的目的是为管理者提供有关软件过程和产品的适当的可视性。它包括评审和审核软件产品及其活动,以验证其是否遵守既定的规程和标准,并向有关负责人汇报评审和审核的结果。 u质量保证(Quality Assurance, QA)是CMM和ISO9001最为推崇的改善软件质量的方法。基于我亲身实践和调查研究,我敢冒天下之大不讳说一句:质量保证并不能保证质量,它是个美丽的谎言。质量保证并不能保证质量,它是个美丽的谎言。u简而言之,质量保证活动就是检查软件项目的“工作过程和工作成果”是否符合既定的规范。如此简单的活动为什么被冠以“质量保证”这等份量的术语呢?没有历史典故,经我考究,猜想是源于一个天真的假设:过程质量与产品质量存在某种程度的因果关系,通常“好的过程”产生“好的产品”,而“差的过程”将产生“差的产品”。假设企业已经制定了软件过程规范,如果质量保证人员发现某些项目的“工作过程以及工作成果”不符合既定的规范,那么马上可以断定产品存在缺陷。反之,如果质量保证人员没有发现不符合既定规范的东西,那么也可以断定产品是合格的。u符合既定规范的东西并不意味着质量一定合格,仅靠规范无法识别出产品中可能存在的大量缺陷符合既定规范的东西并不意味着质量一定合格,仅靠规范无法识别出产品中可能存在的大量缺陷(以高手与新手的设计、编程为例)。u质量保证的技术含量太低了,只能检查出肤浅的缺陷,不能对付有技术难度的缺陷。所以单独的“质量保证”其实并不能“保证质量”。 全面软件质量管理(3)课件4. 质量保证能够保证质量吗质量保证能够保证质量吗4.2 CMM3级企业级企业QA人员的迷惘(人员的迷惘(email摘录)摘录) 我很迷茫,很想找一个人聊聊,希望你能给我点主意,化解我心中的谜团。 昨天我们公司拿到了CMM3的证书,但是我一点都高兴不起来。公司宣称,我们的软件质量大大提高了,但是我却没有信心。我们的过程执行得很好,但是我觉得并没有在很大程度上改善产品的质量。 今天还有一个项目经理跟我诉苦:前一阶段大家都忙于执行过程,但是他的产品质量令人很不满意,尤其是测试做的很不到位。我是这个项目的SQA,所以我很理解他,但是我帮不上他的忙。因为他们的过程执行得很好,这个项目可是通过CMM3级正式评估了的。 当然,执行CMM有不少好处,比如文档全面完整了,项目管理的可视性提高了。但是对于我们公司而言,它并没有在根本上提高我们公司的软件能力。 比如概要设计,开发人员根本就不知道用来干吗的,怎么能指望他们写出高质量的概要设计说明书出来。而在做技术评审的时候,他们很少能找出逻辑性的错误,只能发现一些诸如错别字之类的小错误。我们几乎每一个配置项都要经过评审,但是大部分评审都只能发现一些无关痛痒的问题。 公司已经通过CMM3级了,我认为过程执行得很好了,可是软件质量仍然比较差。这是怎么回事啊,你觉得原因在哪里? u结论:结论:公司按照CMM3级的要求执行,而且质量人员也认为执行过程符合既定的规范,但是软件产品的质量仍然低下。所以说“质量保证并不能保证质量”,这句话一点都不过分。质量保证对于保证质量而质量保证对于保证质量而言只是必要的手段,而不是充分的手段。言只是必要的手段,而不是充分的手段。 全面软件质量管理(3)课件5. 质量人员的状况质量人员的状况5.1 郁闷郁闷uQA人员诉苦:我现在觉得很郁闷,CMM评估前还有目标,评估完了冷静下来却觉得效果很差,很没劲。项目经理向我诉苦,他们过程执行的很好,但是对产品质量很不满意,我却无能为力,我这个QA还有什么用处啊!所以我现在干活没有动力,因为不能产生效益,做再多的工作也觉得是白干。而且我现在手头有5个项目要跟踪,还不包括一些整理培训记录的杂活,我觉得自己连工人也不如。我有一些很好的想法却无处发挥,所以我很迷茫,很矛盾地考虑去留问题。 u郁闷的滋味各色各样,只有正在郁闷的人感受最真切。我发现在软件职业里,质量人员是最郁闷的一族。郁闷的共同特征有:(1)在执行质量保证活动时,经常受别人的气,真是吃力不讨好。(2)如果项目取得成功,主要功劳都被项目主管霸占了,领导们至多会给质量人员一些口头上的感谢。领导们嘴上重视产品的质量,但是内心并不重视质量人员。(3)质量人员没有实质性的权力,没有成就感,但是却对质量负有最多的责任。(4)待遇一般,看不到升迁的机会,没有盼头,要么成为打杂的,要么另寻出路。 u声援。我也做过伤害质量人员的事情,非常后悔。我所认识的公司内外的质量人员都是性格温和、细致耐心的人,他们的优点在于人格而不是技术。平心而论,他们比某些技术出色但是情商不高的技术人员更值得交朋友。质量检查是他们的工作职责,谁也不会有意干扰项目,所以任何人都不应该向他们发火。 全面软件质量管理(3)课件5. 质量人员的状况质量人员的状况5.2 路在何方路在何方u软件行业里的人嘴上都说质量很重要,可是大多数企业并没有给质量人员提供良好的职业发展空间。质量人员通常仅给企业起到心里安慰的作用。这样下去,有能耐的质量人员会跑光的。我所认识的多数质量人员要么改行了(如当老师),要么读工程硕士,MBA等,以图将来发展事业。u在大多数的软件企业里,男性处于支配地位,女性职位相对比较低。而质量人员通常是女性,很多男性主管从未真正地把质量人员当成企业的宝贵人才看待,这种偏见是非常有害的。任何素质合格的员工都任何素质合格的员工都是宝贵的人才,很多默默无闻的人才其实是被不懂得质量管理的领导给荒废了。是宝贵的人才,很多默默无闻的人才其实是被不懂得质量管理的领导给荒废了。质量人员之所以没有发挥预期的效果,不是性别缘故,主要过失在于领导者。u建议:(1)无论是企业领导还是质量人员,都要好好学习全面软件质量管理方法,结合企业的特点给出真正有效的质量管理方案。(2)只有当企业领导采用了正确的质量管理方案,用了合格的质量人员,才可能看得到比较明显的质量改善,才能形成良性循环。(3)如果想让质量人员负起比较重的责任,那么就要给她相应的权力。在企业中,责任和权利是成正比的。如果质量人员的地位无足轻重,那么必然导致质量管理无足轻重。(4)给质量人员一个适宜的升迁机会和薪资待遇,让她能够快乐地工作,而不是成天无奈地检查质量。 全面软件质量管理(3)课件5. 质量人员的状况质量人员的状况5.3 赞美诗赞美诗u中国遭受了非典型肺炎(SARS)的肆虐,人们在危难之际想起了医护人员的好处,因此涌现了许多对医护人员的赞美诗。u我碰巧在网上搜索到一位软件诗人献给质量人员的赞美诗“晚上八九点钟的太阳”,我认为没有必要等到软件质量灾难降临的时候才想起质量人员,于是摘录这首诗公布于此。诗中的“狼人”和“银弹”是软件工程的典故,寓意深刻。衷心感谢这位不知姓名的浪漫软件诗人。 晚上八九点钟的太阳 献给软件测试和质保人员我更喜爱晚上八九点钟的太阳,虽然人们都已把他遗忘,但他还是艰难地悬挂在天上。我更喜爱晚上八九点钟的太阳,因为他将奏出黎明的交响。没有他又怎会呼唤出一片明亮?我更喜爱晚上八九点钟的太阳,因为他会化成早上的朝阳。没有他又怎会有什么希望? 我更喜爱晚上八九点钟的太阳,因为他是上帝的臂膀。没有他,又怎会创造万物的光芒。 狼人望月嚎叫,它知道月亮映出的太阳之光,终将化为银弹,射入它的胸膛。我更喜爱晚上八九点种的太阳。 全面软件质量管理(3)课件6. 全面软件质量管理:模型全面软件质量管理:模型6.1 郎中治病的故事郎中治病的故事u质量的死对头是缺陷(defect,bug),缺陷是混在产品中的人们不喜欢、不想要的东西,它对产品没有好处只有坏处。缺陷越多质量越低,缺陷越少质量越高,提高软件质量的基本手段是消除软件缺陷。 u中国郎中看病的故事 在中国古代,有一家三兄弟全是郎中。其中老三是名医,人们问他:“你们兄弟三人谁的医术最高?” 他回答说:“我常用猛药给病危者医治,偶尔有些病危者被我救活,于是我的医术远近闻名并成了名医。我二哥通常在人们刚刚生病的时候马上就治愈他们,临近村庄的人说他是好郎中。我大哥不外出治病,他深知人们生病的原因,所以能够预防家里人生病,他的医术只有我们家里才知道。”u郎中三兄弟是三种治病方式的代言人。全面软件质量管理(3)课件6. 全面软件质量管理:模型全面软件质量管理:模型6.2 消除软件缺陷的三种方式消除软件缺陷的三种方式u老大治病的方式最高明,如果人们能够预防生病的话,那么没病就用不着看医生了。提高软件质量最好的办法是:在开发过程中有效地防止工作成果产生缺陷,将高质量内建于开在开发过程中有效地防止工作成果产生缺陷,将高质量内建于开发过程之中。主要措施是发过程之中。主要措施是“不断地提高技术水平,不断地提高规范化水平不断地提高技术水平,不断地提高规范化水平”,其实就是练内功,其实就是练内功,通称为通称为“软件过程改进软件过程改进”。 u即使一个人严守养生之道,身体状况良好,但总是会意外地得病的,得了病就要去看医生。老二治病的方式就是医院的模式,病人越早看病,就越早治好,治病的代价就越低。同理,在开发软件的时候,即使人们的技术水平很高,并且严格遵守规范,但是人非机器,总是会犯错误的,因此无法完全避免软件中的缺陷。当工作成果刚刚产生时马上进行质量检查,及时找出并消除工作成果中的缺陷。这种方式效果当工作成果刚刚产生时马上进行质量检查,及时找出并消除工作成果中的缺陷。这种方式效果比较好,人们一般都能学会。最常用的方法是技术评审、软件测试和过程检查,已经被企业广泛比较好,人们一般都能学会。最常用的方法是技术评审、软件测试和过程检查,已经被企业广泛采用并取得了成效。采用并取得了成效。 u老三治病的方式代价最高,只能是不得已而为之。可在现实之中,大多数软件企业采用老三的方式来对付质量问题。典型现象是:在软件交付之前,没有及时消除缺陷。当软件交付给用户后,用着用着就出错了,赶紧请开发者来补救。可笑的是,当软件系统在用户那里出故障了,那些现场补救成功的人倒成了英雄,好心用户甚至还寄来感谢信。 全面软件质量管理(3)课件6. 全面软件质量管理:模型全面软件质量管理:模型6.3 模型模型u借鉴老大、老二治病的方法,我们提炼出全面软件质量管理的模型,如下图所示。项目中的所有人员几乎都参与了质量活动,只是介入的程度不同而已,后面几节将逐一介绍这些质量活动。 全面软件质量管理(3)课件6. 全面软件质量管理:模型全面软件质量管理:模型6.4 角色职责角色职责u谁谁对对软软件件质质量量负负责责?是全员负责。任何与软件开发、管理工作相关的人员都对质量产生影响,都要对质量负责。所以人们不要把质量问题全部推出质量人员或测试人员。 u谁谁对对软软件件质质量量负负最最大大的的责责任任?谁的权利越大,他所负的质量责任就越大。质量人员是成天与质量打交道的人,但他个人并不对产品质量产生最大的影响,所以也不负最大的责任。u质量人员的主要职责:u(1)负责制定质量计划(很重要但是工作量比较少);u(2)负责过程检查(类似于CMM中的质量保证),约占个人工作量的20%;u(3)参与技术评审,约占个人工作量的30%;u(4)参与软件测试,约占个人工作量的30%;u(5)参与软件过程改进(面向整个机构),约占个人工作量的20%; * * 上述工作量的比例仅供参考,在实际应用时必须根据项目的特征而定。上述工作量的比例仅供参考,在实际应用时必须根据项目的特征而定。 全面软件质量管理(3)课件7. 全面软件质量管理:制定质量管理计划全面软件质量管理:制定质量管理计划u质量管理计划就是为了实现质量目标的计划。而质量目标则是由商业目标决定的。开发软件产品的最终目的是为了赚钱,所以人们为提高软件质量所付出的代价是有上限的,项目负责人当然希望代价越低越好。质量管理计划是全面质量管理的行动纲领。质量管理计划是全面质量管理的行动纲领。 u谁制定质量管理计划?由项目核心成员和质量人员共同协商制定,主要由质量人员起草,由项目经理审批即可。 u质量管理计划的主要内容(模板见word文件):1. 质量要素分析质量要素分析 2. 质量目标质量目标 3. 人员与职责人员与职责 4. 过程检查计划过程检查计划 5. 技术评审计划技术评审计划 6. 软件测试计划软件测试计划 7. 缺陷跟踪工具缺陷跟踪工具 8. 审批意见审批意见 全面软件质量管理(3)课件8. 全面软件质量管理:技术评审全面软件质量管理:技术评审8.1 概念概念u技术评审(Technical Review, TR)的目的是尽早地发现工作成果中的缺陷,并帮助开发人员及时消除缺陷,从而有效地提高产品的质量。u技术评审最初是由IBM公司为了提高软件质量和提高程序员生产率而倡导的。技术评审方法已经被业界广泛采用并收到了很好的效果,它被普遍认为是软件开发的最佳实践之一。 u技术评审的主要好处有:通过消除工作成果的缺陷而提高产品的质量;技术评审可以在任何开发阶段执行,不必等到软件可以运行之际,越早消除缺陷就越能降低开发成本;开发人员能够及时地得到同行专家的帮助和指导,无疑会加深对工作成果的理解,更好地预防缺陷,一定程度上提高了开发生产率。u技术评审有两种基本类型:正式技术评审(FTR)。FTR比较严格,需要举行评审会议,参加评审会议的人员比较多。非正式技术评审(ITR)。ITR的形式比较灵活,通常在同伴之间开展,不必举行评审会议,评审人员比较少。 全面软件质量管理(3)课件8. 全面软件质量管理:技术评审全面软件质量管理:技术评审8.2 正式技术评审的流程正式技术评审的流程u技术评审报告的模板见word文档全面软件质量管理(3)课件9. 全面软件质量管理:软件测试全面软件质量管理:软件测试9.1 观点观点u技术评审和软件测试的目的都是为了消除软件的缺陷,两者的主要区别是:前者无需运行软件,评审人员和作者把工作成果摆放在桌面上讨论;而后者一定要运行软件来查找缺陷。技术评审在软件测试之前执行,尤其是在需求开发和系统设计阶段。相比而言,软件测试的工作量通常比技术评审的大,发现的缺陷也更多。 u在制定质量计划的时候,已经确定了本项目的主要测试活动、时间和负责人,之后再考虑软件测试的详细计划和测试用例。 u如果机构没有专职的软件测试人员的话,那么开发人员可以兼职做测试工作。当项目开发到后期,过程检查和技术评审都已经没有多少意义了,开发小组急需有人帮助他们测试软件,如果质量人员参与软件测试,对开发小组而言简直就是“雪中送炭”。 u强调:质量人员一定要参与软件测试(大约占其工作量的强调:质量人员一定要参与软件测试(大约占其工作量的30左右),只有这样他才能深入地了解软件左右),只有这样他才能深入地了解软件的质量问题,而且给予开发小组强有力地帮助的质量问题,而且给予开发小组强有力地帮助。 u请参考软件测试的专题,此处省略。全面软件质量管理(3)课件10. 全面软件质量管理:过程检查全面软件质量管理:过程检查10.1 观点观点uCMM和ISO9001所述的软件质量保证,实质就是过程检查,即检查软件项目的“工作过程和工作成果”是否符合既定的规范。u“过程检查”这个词虽然没有质量保证那么动听,但是其含义直接明了,不会让人误解。为了避免人们误以为“质量保证”能够“保证质量”,我提议用“过程检查”取代质量保证这个术语。u虽然本章批判了“质量保证”的浮夸,但是并没有全盘否定质量保证的好处。过程检查对提高软件质量是有帮助的,只是它的好处没有象质量保证鼓吹的那么好而已。 u符合规范的工作成果不见得就是高质量的,但是明显不符合规范的工作成果十有八九是质量不合格的。符合规范的工作成果不见得就是高质量的,但是明显不符合规范的工作成果十有八九是质量不合格的。例如版本控制检查再例如,机构制定了重要工作成果的文档模板(例如需求规格说明书、设计报告等),要求开发人员写的文档尽可能符合模板。如果质量人员发现开发人员写的文档与机构的模板差异非常大,那么就要搞清楚究竟是模板不合适?还是开发人员偷工减料? u过程检查的要点是:找出明显不符合规范的工作过程和工作成果,及时指导开发人员纠正问题,切勿吹过程检查的要点是:找出明显不符合规范的工作过程和工作成果,及时指导开发人员纠正问题,切勿吹毛求疵或者在无关痛痒的地方查来查去。毛求疵或者在无关痛痒的地方查来查去。不少机构的质量人员并没有真正理解过程检查的意义,老是对照规范,查找错别字、标点符号、排版格式等问题,迷失了方向,这样只有疲劳没有功劳,而且让开发人员很厌烦。对于中小型项目而言,过程检查工作由质量人员一个人负责就够了,约占其20的工作量,让质量人员抽出更多的时间从事技术评审和软件测试工作。 全面软件质量管理(3)课件10. 全面软件质量管理:过程检查全面软件质量管理:过程检查10.2 流程流程u过程检查计划的要点是确定主要检查项和检查时间(或频度)。u质量人员在执行过程检查的时候,如果发现问题,应该立即记录下来。过程问题也是缺陷,因此最好使用缺陷跟踪工具,有助于提高过程检查的效率。 u质量人员首先设法在项目内部解决已经发现的质量问题,与项目成员们协商,给出解决措施。在项目内难以解决的质量问题,由上级领导给出解决措施。 全面软件质量管理(3)课件11. 全面软件质量管理:缺陷跟踪工具全面软件质量管理:缺陷跟踪工具11.1 概念概念u如果没有缺陷跟踪工具的话,人们只好用纸张或文件去记录缺陷,不仅变更缺陷信息很麻烦,而且难以共享信息。缺陷跟踪工具就是帮助项目成员记录和跟踪缺陷用的,一般都有数据库支持,可以在局域网内运行。 uInternet上有许多缺陷跟踪工具,大家可以免费下载使用。由于缺陷跟踪工具仅仅是一种辅助性的工具,我们没有必要太在乎该软件的功能,只要用起来方便就行。 u缺陷的主要属性:缺陷ID, 缺陷类型,缺陷状态,缺陷描述,相关文件,严重性,优先级,报告者,报告日期,接受者,解决方案(建议),解决日期 。u缺陷跟踪工具的常见功能:查询缺陷,添加缺陷,修改缺陷,删除,缺陷分类图,缺陷趋势图, Emailu演示“集成化项目管理系统 Future”的质量管理功能 全面软件质量管理(3)课件G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp#s&v)z0C3F7IaLdTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-E5H9KcNfRiUmXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTls&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYp!t-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4F7JaMePhSo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7Jb全面软件质量管理(3)课件全面软件质量管理(3)课件
收藏 下载该资源
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号