一、代码覆盖率
通常我们在做单元测试的时候会接触到代码覆盖率的概念,通过在单元测试的过程中收集代码覆盖率去判断测试用例是否充分,去更精准的定位问题。而对于功能测试或者接口测试比较少的去关注覆盖率数据,功能测试时覆盖率的收集也是比较困难的。然后对于功能测试而言进行代码覆盖率的收集有利于测试工程师去判断哪些分支没有被覆盖,判断是否是设计用例的时候没有做到覆盖,又或者是由于存在bug使得无法覆盖到,从而更精准的去定位bug的位置,去分析问题,节省时间。
二、工具简介
对于java的代码覆盖率的收集,比较常用的工具有emma、jacoco,它们都是免费的代码覆盖率工具。emma目前已经不维护,EclEmma团队推出了jacoco,jacoco可以理解为emma的升级版本。Jacoco可以跟ant、maven、gradle等集成,降低了使用成本,使用更灵活 ;同时它还引入了监控机制,通过JJavaAgent技术监控Java程序。Jacoco还可以更第三方平台进行集成,比如sonar、jenkins,通过第三方平台更友好的将覆盖率数据在web端展示。
二、Java Counters
Jacoco提供了多维度的覆盖率统计方法,包含指令级(Instructions,C0coverage)覆盖,分支(Branches,C1coverage)覆盖、类(classes)覆盖、方法(non-abstract methods)覆盖、行(Lines)覆盖。同时还提供圈复杂度(CyclomaticComplexity)的统计,它会去计算每个类,方法的圈复杂度,根据McCabe1996的定义,圈复杂度可以理解为覆盖所有的可能情况最少使用的测试用例数,同时圈复杂度越高意味着程序越复杂,发生bug的概率越大。
2.1 Instructions
Jacoco在统计覆盖率时最小的统计单位就是字节码指令。通过指令覆盖率统计的是所有的指令哪些被执行了哪些没有被执行,从而得出统计数据。这项规则完全独立于源码格式并且在任何情况下有效,不需要类文件的调试信息。
2.2 Branches
Jacoco对所有的if...else...和switch...case...指令计算了分支覆盖率。分支覆盖会去统计程序中所有的分支数量,并统计哪些被执行哪些没有被执行,从而得出有效的覆盖率数据。
2.3 Classes
类覆盖是收集类的统计数据,计算中每个类中只要有一个方法被执行,这个类就被认定为被执行,那么它的覆盖率就是100%。
2.4 Methods
方法覆盖是收集类中的方法的覆盖率,通常一个非抽象方法都至少有一条指令,只要改方法中有一行被执行,该统计规则就认为他被执行了,该方法的覆盖率就是100%。
2.5 Lines
行覆盖,统计每行代码的覆盖率,只有当每一行代码都被执行到了才会是100%,理论上保证100%的覆盖率就能保证程序不会有bug。
三、准备工作
进入jacoco官网:http://www.eclemma.org/jacoco/ ,下载jacoco-0.7.8.zip。
进入apache官网:http://ant.apache.org/bindownload.cgi ,下载apache-ant-1.9.6-bin.tar.gz。
四、Tomcat 服务配置
1、本地为windows系统,先关闭tomcat服务。
2、将下载得到的jacocoagent.jar拷贝至D:\Program Files (x86)\apache-tomcat-8.0.30-windows-x86\apache-tomcat-8.0.30\lib\
3、修改bin/catalina.bat中JAVA_OPTS的配置
set JAVA_OPTS="-javaagent:%CATALINA_BASE%\lib\jacocoagent.jar=includes=com.yihu.qa.*,output=tcpserver,port=3344,address=192.168.1.103"
其中:%CATALINA_BASE%\lib\jacocoagent.jar为安装jacoco的jacocoagent.jar包相对路径;output覆盖率数据输出的形式,有file, tcpserver, tcpclient, 默认是file,file是在jvm停掉时才将覆盖率数据dump出来;address和port可以提供client访问,并dump出覆盖率数据文件,在build.xml会使用。
4、执行 startup.bat 启动tomcat。
五、本地ant配置
1、ant配置
将下载来的ant解压到某个目录下,添加ant环境变量,我的电脑->属性->高级系统设置->环境变量->新建
接下来查看ant配置是否ok,打开命令行,执行ant -version,如下图,表示ant安装成功
Ant -version
2、创建一个ant的目录D:\Program Files (x86)\apache-tomcat-8.0.30-windows-x86\ant,将下载得到的jacocoant.jar拷贝至D:\Program Files (x86)\apache-tomcat-8.0.30-windows-x86\ant
3、配置build.xml
说明:主要需要配置dump任务,jacoco生成报告任务;dump任务主要是为了能够生成.exec文件,在通过jacoco的任务根据源码跟.class文件以及.exec文件得出相应的html格式的覆盖率数据。
如何定义任务:
<target name=”***”>****</target>
如何执行任务:ant targetname
3、执行ant dump,执行成功后可以在ant的目录下发行.exec的文件
ant dump
4、执行 ant report,在ant目录下看到coverage_ant_task文件夹
5、查看报告
在报告中我们可以看到整个项目的各个覆盖率的情况,同时我们也可以查看到各个类方法的覆盖率数据,以及可以看到代码的行覆盖的情况,在方法里可以清晰的看到红色跟绿色,红色代表没有覆盖,绿色代表已经被覆盖了。从而我们可以推断出可能用例不完善这时候需要补充用例去覆盖改部分的内容,如果用例已经覆盖了,需要排查是否是出现了bug。