bug数据分析.ppt

三、基于测试流程上的缺陷管理系统?缺陷的定义?软件没有达到产品说明书表明的功能?软件出现了产品说明书中不一致的表现?软件功能超出产品说明书的范围?软件没有达到用户期望的目标(虽然产品说明书中没有要求) ?测试员或用户认为软件的易用性差?不是所有缺陷都会修改?市场的压力使得产品最终发行有时间限制?测试员错误理解或者不正确操作引出的缺陷(FAQ) ?错误的修改影响的模块较多,带来的风险较大(遗留) ?修改性价比太低(FAQ ,遗留) ?缺陷报告中提出的问题很难重现 Founder R&D 1 缺陷报告管理系统?是测试流程在工具上的固化?通过权限控制来实现流程监控?记录了缺陷识别到关闭过程中的所有数?记录了版本变更的信息?是开发和测试之间沟通的信息平台?实时的数据和信息的更新?度量和统计分析,为改进产品提供依据 Founder R&D 2 Founder R&D ?采用 Lotus Notes 作为 bug 管理平台?完全电子化的信息传递?统一管理和备份具备数据统计和查询功能能够进行个性化二次开发方正测试缺陷跟踪与管理系统 3 系统测试缺陷处理流程新建表单待测试提交待指定处理人正在处理返回处理待开发提交待返测待归档已归档个人提交退回测试提交指定处理人重新指定处理完毕返测完毕归档重新返测退回提交版本更新说明 Founder R&D 4 ? Bug 报告准则?如何重现错误-使用最少步骤重现?现象描述没有歧义?尽量简单-一个 bug 一个报告?可以提出对错误的解决建议?开发人员拒绝修改的 bug ?程序员无法重现或者现象难以捕捉?没有明确的报告以说明重现 bug 的步骤?程序员无法读懂的 bug 报告?用户很少使用或者不符合用户使用习惯的操作出错?由不受信任的测试人员提出缺陷报告 Founder R&D 5 集成测试缺陷处理流程新建表单待指定处理人正在处理待返测待归档已归档返回处理测试提交指定处理人重新指定处理完毕返测完毕归档重新返测退回 Founder R&D 6 缺陷分析的关注点: 1、对软件问题的功能域分布进行分析,找出系统的薄弱环节?要详细采集每个功能模块或系统构件的 bug 数据, 并按功能、错误类型、严重程度等分类?比较实际发现的软件 bug 是否与预期的问题分布相吻合?二八定理: 80% 的软件问题总是发生在大约 20% 的功能模块(系统构件)中。 Founder R&D 7 缺陷分析的关注点 2、对 bug 的注入阶段的分布进行分析,并与历史数据相比较。应按不同的开发阶段详细采集 bug 的数据?要求软件各开发阶段的缺陷密度小于本单位过去的平均值?而且要求需求分析、设计和代码复查阶段的缺陷排除率之和大于或等于规定值(例如 75% )。(同行评审) Founder R&D 8 Founder R&D 缺陷分析的关注点 3 、应对软件缺陷类型进行分析,以便针对各自的特点,先修复严重缺陷。?可参考 PSP 中缺陷类型标准(如下表),其中缺陷类型是按照问题的复杂度来排列的,类型 10 到 40 是比较简单的编码缺陷,类型 50 到 100 是比较复杂的设计缺陷。类型编号类型名称描述 10文档注释,消息 20句法拼写,标点,打字,指令格式 30 联编,打包理改管理,库,版本控制 40分配说明,重名,作用域,限制 50接口过程调用和引用,输入/输出,用户格式 60检查出错信息,不恰当的检查 70数据结构,内容 80函数逻辑,指针,循环,递归, 计算,函数缺陷 90系统配置,记时,内存 100 环境设计,编译,测试,或其它支持系统问题 9 缺陷分析的关注点?4、应动态采集每个测试周期中发现的 bug 数, 并有效地控制缺陷的修复率。?5、应密切观察 bug 的状态,并及时跟踪其状态的变化,以检查测试和开发人员的工作情况 Founder R&D 10