(项目C和项目D)则维持原来的流程。
经过各项统计指标比较分析,可以发现流程改进后的效果较为显著。限于篇幅,本文只选取几个指标做一说明。
3.1 客户满意度
从客户满意度调查中,可以看出流程改进后的客户感觉效果还是有一定的提高。尤其是在Bug书写、跟踪上有了明显的提高;在Bug数量质量上客户也表示比较满意。总之,数据分析表明,针对某一个特定的外包测试项目,将风险管理思想与CMMI认证体系标准有机结合,可以适当改进软件外包测试流程,提高测试效率和测试水平,并能取得明显的效果。
3.2 流动人员培训后初次发现Bug的时间的数字表示从流动人员接受培训开始到发现第一个Bug的时间间隔,单位精确到“周”。从流动人员的培训中可以看出,虽然培训时间一样,但效果却有很大的差别,采用新的流程可以缩短新来人员的适应期,更快地进入到正常的工作状态中。由此看来,新的测试流程在人员流动率越高的情况下其优势越突显。在本企业高达21%的人员流动率下,新流程的实施明确减缓了排名第一的风险“人员流动率太高”所带来的危害。
3.3 测试用例覆盖率
由于加入了评审程序能提高大约5%的覆盖率(用项目A、B与项目C、D比较所得)。无论是工作效率还是测试用例覆盖率都可以让客户更加满意,同时由于测试用例覆盖率的提高,还能引导测试人员找到更多的Bug。
3.4 Bug优先级分布
各项指标表明,风险识别中所提到的“大量重复Bug”、“大量错误Bug”以及“提交Bug数量太少或者在某些时期太少”都能在新的流程下得到有效改善。而且从总体情况上来看,采用新流程的项目A和项目B在优先级的分布上比其他两个项目要稍好。
很明显高优先级的Bug比率得到了提高,风险“提交的绝大多数是无关紧要的Bug”得到了有效的控制。