前言
前面介绍了为什么要使用监听器和testng中监听器的本质,那在实际的接口自动化或者ui自动化中testng的监听器究竟能帮我们干嘛呢???一起来看看把~
一,用例失败重试
在实际的接口自动化过程中,有时候会面临调用服务时,有部分接口偶尔不稳定或者超时的情况,但第二次运行又正常,每次接口失败都需要花费时间排查,但实际没有问题,为了排除不稳定带来的干扰,节约排查维护时间,那怎让用例链接超时后自动重试呢?
那就要用到TestNG监听器中的IRetryAnalyzer接口了,创建一个TestRetry.class,代码很简单,如下:
package api.listener;
import api.exception.ErrorRespStatusException;
import org.testng.IRetryAnalyzer;
import org.testng.ITestResult;
public class TestRetry implements IRetryAnalyzer {
private static int retryCount = 1;
private static int maxRetryCount = 3;//最大重试次数
@Override
public boolean retry(ITestResult iTestResult) {
if(retryCount<maxRetryCount && iTestResult.getThrowable()instanceof java.net.ConnectException){
//判断用例执行中抛出的异常如果属于链接超时异常的子类,就重试三次;此处判断条件可根据自身需求来设定重试的条件
retryCount++;
return true;
}
return false;
}
}
想要使用失败重试的功能也很简单,只需要在Annotation里面加上retryAnalyzer属性即可,此处写一个测试类,用restassured写两个test分别调用谷歌和百度,如下
package Testcase.example;
import api.listener.TestRetry;
import org.testng.annotations.AfterTest;
import org.testng.annotations.BeforeTest;
import org.testng.annotations.Test;
import static io.restassured.RestAssured.given;
import static org.hamcrest.core.IsEqual.equalTo;
public class googletest {
@BeforeTest
public void bfTest() {
System.out.println("TestNGHelloWorld1 beforTest!");
}
@Test(retryAnalyzer = TestRetry.class)//自动重试retryAnalyzer属性
public void googletest() {
given().log().all()
.queryParam("wd", "mp3")
.when()
.get("https://www.google.com.hk/")//访问谷歌,超时用例
.then()
.log().all()
.statusCode(200)
.body("html.head.title", equalTo("谷歌搜索"));
}
@Test(retryAnalyzer = TestRetry.class)//自动重试retryAnalyzer属性
public void baidu(){
given().log().all()
.queryParam("wd", "mp3")
.when()
.get("http://www.baidu.com/s")//访问百度,不超时用例
.then()
.log().all()
.statusCode(200)
.body("html.head.title", equalTo("mp3_百度搜索"));
}
@AfterTest
public void AfTest() {
System.out.println("TestNGHelloWorld1 AfterTest!");
}
}
运行测试类,结果如下:
由图可见,googletest在链接超时后,自动重试了三次,虽然第三次也链接超时了,但达到了我们希望用例连接超时后自动重试三次的机制;
*可根据自身项目特点去定义重试的条件(不一定是连接超时),而且在不需要自动重试的用例,则不使用retryAnalyzer属性,可以很方便自由的使用重试机制;
二,失败自动截图
当我们在组织appium,selenium等UI自动化的测试用例的时候,经常在测试用例失败时,需要对失败情况进行截图保存,方便后面去定位和排查;
此处的是继承TestNG监听器中的TestListenerAdapter对象了,由于父类已经实现了很多方法,当我们需要定制时,只需要重写父类的该方法就可以了;如下:
package api.listener;
import org.testng.ITestContext;
import org.testng.ITestResult;
import org.testng.TestListenerAdapter;
import lombok.extern.slf4j.Slf4j;
import java.io.File;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
@Slf4j
public class TestListener extends TestListenerAdapter {
@Override
public void onTestFailure(ITestResult tr) {
super.onTestFailure(tr);//用例失败时
log.info(tr.getName() + " Failure");
getScreen();//调用自动截图的方法,一般已封装好的截图方法,以appium为例
}
@Override
public void onTestSkipped(ITestResult tr) {
super.onTestSkipped(tr);//用例跳过时
log.info(tr.getName() + " Skipped");
}
@Override
public void onTestSuccess(ITestResult tr) {
super.onTestSuccess(tr);//用例成功时
log.info(tr.getName() + " Success");
}
@Override
public void onTestStart(ITestResult tr) {
super.onTestStart(tr);
log.info(tr.getName() + " Start");
}
@Override
public void onFinish(ITestContext testContext) {
super.onFinish(testContext);
}
private void getScreen(ITestResult tr) {
SimpleDateFormat formatter = new SimpleDateFormat("yyyy_MM_dd_HH_mm_ss");
String mDateTime = formatter.format(new Date());
String fileName = mDateTime + "_" + tr.getName();
String filePath =base.getScreenshotAs(fileName);
Reporter.setCurrentTestResult(tr);
Reporter.log(filePath);
//这里实现把图片链接直接输出到结果文件中,通过邮件发送结果则可以直接显示图片
Reporter.log("<img src=\"../" + filePath + "\"/>");
}
封装的截图方法如下:
public class snkrs{
private static AndroidDriver<MobileElement> driver;
public static void startApp() throws MalformedURLException {
DesiredCapabilities desiredCapabilities = new DesiredCapabilities();
desiredCapabilities.setCapability("platformName", "Android");
desiredCapabilities.setCapability("platformVersion", "6.0");
desiredCapabilities.setCapability("deviceName", "192.168.111.101:5555");
desiredCapabilities.setCapability("noReset", true);
desiredCapabilities.setCapability("app", "D:\\apk\\base.apk");
desiredCapabilities.setCapability("unicodeKeyboard", "True");//中文键盘输入
desiredCapabilities.setCapability("resetKeyboard", "True");//重置键盘
desiredCapabilities.setCapability("autoAcceptAlerts", true);// 自动接受提示信息
//设置浏览器类型,如果为空,建议取用appium中设定的浏览器
desiredCapabilities.setCapability(CapabilityType.BROWSER_NAME, "Firefox");
URL remoteUrl = new URL("http://localhost:4723/wd/hub");
driver = new AndroidDriver<MobileElement>(remoteUrl, desiredCapabilities);
driver.manage().timeouts().implicitlyWait(40, TimeUnit.SECONDS); //超时设置
return driver;
}
public static String getScreen() {
startApp();
String fileRoute = "D:\\apk\\snkrs\\";
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH mm ss");
String picname = fileRoute + df.format(new Date()).toString() + ".png";
File screen = driver.getScreenshotAs(OutputType.FILE);
System.out.println(picname);
File screenFile = new File(picname);
try {
FileUtils.copyFile(screen, screenFile);
String time = df.format(new Date()).toString();
System.out.println("当前时间" + time);
return time;
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
三,生成自定义测试报告
testng是有自带的测试报告的,但是样式很简陋,展示的信息也不多,并不利于我们去后期定位和排查问题,所以根据自身项目的需求去自定义测试报告就显得很有必要了(ps看到好看的报告心情也会变好啊)
此处的就要去实现TestNG监听器中的IReporter接口了,并且根据自身需求去实现其generateReport()方法;如下:
package api.listeners;
import api.utils.ReportUtil;
import com.aventstack.extentreports.ExtentReports;
import com.aventstack.extentreports.ExtentTest;
import com.aventstack.extentreports.ResourceCDN;
import com.aventstack.extentreports.Status;
import com.aventstack.extentreports.model.Log;
import com.aventstack.extentreports.model.TestAttribute;
import com.aventstack.extentreports.reporter.ExtentHtmlReporter;
import com.aventstack.extentreports.reporter.configuration.ChartLocation;
import com.aventstack.extentreports.reporter.configuration.Theme;
import org.testng.*;
import org.testng.xml.XmlSuite;
import java.io.File;
import java.util.*;
public class ExtentTestNGIReporterListener implements IReporter {
//生成的路径以及文件名
private static final String OUTPUT_FOLDER = "test-output/";
private static final String FILE_NAME = "index.html";
private ExtentReports extent;
@Override
public void generateReport(List<XmlSuite> xmlSuites, List<ISuite> suites, String outputDirectory) {
init();
boolean createSuiteNode = false;
if(suites.size()>1){
createSuiteNode=true;
}
for (ISuite suite : suites) {
Map<String, ISuiteResult> result = suite.getResults();
//如果suite里面没有任何用例,直接跳过,不在报告里生成
if(result.size()==0){
continue;
}
//统计suite下的成功、失败、跳过的总用例数
int suiteFailSize=0;
int suitePassSize=0;
int suiteSkipSize=0;
ExtentTest suiteTest=null;
//存在多个suite的情况下,在报告中将同一个一个suite的测试结果归为一类,创建一级节点。
if(createSuiteNode){
suiteTest = extent.createTest(suite.getName()).assignCategory(suite.getName());
}
boolean createSuiteResultNode = false;
if(result.size()>1){
createSuiteResultNode=true;
}
Date suiteStartTime = null,suiteEndTime=new Date();
for (ISuiteResult r : result.values()) {
ExtentTest resultNode;
ITestContext context = r.getTestContext();
if(createSuiteResultNode){
//没有创建suite的情况下,将在SuiteResult的创建为一级节点,否则创建为suite的一个子节点。
if( null == suiteTest){
resultNode = extent.createTest(context.getName());
}else{
resultNode = suiteTest.createNode(context.getName());
}
}else{
resultNode = suiteTest;
}
if(resultNode != null){
resultNode.assignCategory(suite.getName(),context.getName());
if(suiteStartTime == null){
suiteStartTime = context.getStartDate();
}
suiteEndTime = context.getEndDate();
resultNode.getModel().setStartTime(context.getStartDate());
resultNode.getModel().setEndTime(context.getEndDate());
//统计SuiteResult下的数据
int passSize = context.getPassedTests().size();
int failSize = context.getFailedTests().size();
int skipSize = context.getSkippedTests().size();
suitePassSize += passSize;
suiteFailSize += failSize;
suiteSkipSize += skipSize;
if(failSize>0){
resultNode.getModel().setStatus(Status.FAIL);
}
resultNode.getModel().setDescription(String.format("Pass: %s ; Fail: %s ; Skip: %s ;",passSize,failSize,skipSize));
}
buildTestNodes(resultNode,context.getFailedTests(), Status.FAIL);
buildTestNodes(resultNode,context.getSkippedTests(), Status.SKIP);
buildTestNodes(resultNode,context.getPassedTests(), Status.PASS);
}
if(suiteTest!= null){
suiteTest.getModel().setDescription(String.format("Pass: %s ; Fail: %s ; Skip: %s ;",suitePassSize,suiteFailSize,suiteSkipSize));
suiteTest.getModel().setStartTime(suiteStartTime==null?new Date():suiteStartTime);
suiteTest.getModel().setEndTime(suiteEndTime);
if(suiteFailSize>0){
suiteTest.getModel().setStatus(Status.FAIL);
}
}
}
extent.flush();
}
private void init() {
//文件夹不存在的话进行创建
File reportDir= new File(OUTPUT_FOLDER);
if(!reportDir.exists()&& !reportDir .isDirectory()){
reportDir.mkdir();
}
ExtentHtmlReporter htmlReporter = new ExtentHtmlReporter(OUTPUT_FOLDER + FILE_NAME);
htmlReporter.config().setDocumentTitle(ReportUtil.getReportName());
htmlReporter.config().setReportName(ReportUtil.getReportName());
htmlReporter.config().setChartVisibilityOnOpen(true);
htmlReporter.config().setTestViewChartLocation(ChartLocation.TOP);
htmlReporter.config().setTheme(Theme.STANDARD);
//设置点击效果:.node.level-1 ul{ display:none;} .node.level-1.active ul{display:block;}
//设置系统信息样式:.card-panel.environment th:first-child{ width:30%;}
htmlReporter.config().setCSS(".node.level-1 ul{ display:none;} .node.level-1.active ul{display:block;} .card-panel.environment th:first-child{ width:30%;}");
// 移除按键监听事件
htmlReporter.config().setJS("$(window).off(\"keydown\");");
//设置静态文件的DNS 如果cdn.rawgit.com访问不了,可以设置为:ResourceCDN.EXTENTREPORTS 或者ResourceCDN.GITHUB
htmlReporter.config().setResourceCDN(ResourceCDN.EXTENTREPORTS);
extent = new ExtentReports();
extent.attachReporter(htmlReporter);
extent.setReportUsesManualConfiguration(true);
// 设置系统信息
Properties properties = System.getProperties();
extent.setSystemInfo("os.name",properties.getProperty("os.name","未知"));
extent.setSystemInfo("os.arch",properties.getProperty("os.arch","未知"));
extent.setSystemInfo("os.version",properties.getProperty("os.version","未知"));
extent.setSystemInfo("java.version",properties.getProperty("java.version","未知"));
extent.setSystemInfo("java.home",properties.getProperty("java.home","未知"));
extent.setSystemInfo("user.name",properties.getProperty("user.name","未知"));
extent.setSystemInfo("user.dir",properties.getProperty("user.dir","未知"));
}
private void buildTestNodes(ExtentTest extenttest,IResultMap tests, Status status) {
//存在父节点时,获取父节点的标签
String[] categories=new String[0];
if(extenttest != null ){
List<TestAttribute> categoryList = extenttest.getModel().getCategoryContext().getAll();
categories = new String[categoryList.size()];
for(int index=0;index<categoryList.size();index++){
categories[index] = categoryList.get(index).getName();
}
}
ExtentTest test;
if (tests.size() > 0) {
//调整用例排序,按时间排序
Set<ITestResult> treeSet = new TreeSet<ITestResult>(new Comparator<ITestResult>() {
@Override
public int compare(ITestResult o1, ITestResult o2) {
return o1.getStartMillis()<o2.getStartMillis()?-1:1;
}
});
treeSet.addAll(tests.getAllResults());
for (ITestResult result : treeSet) {
Object[] parameters = result.getParameters();
String name="";
//如果有参数,则使用参数的toString组合代替报告中的name
for(Object param:parameters){
name+=param.toString();
}
if(name.length()>0){
if(name.length()>50){
name= name.substring(0,49)+"...";
}
}else{
name = result.getMethod().getMethodName();
}
if(extenttest==null){
test = extent.createTest(name);
}else{
//作为子节点进行创建时,设置同父节点的标签一致,便于报告检索。
test = extenttest.createNode(name).assignCategory(categories);
}
//test.getModel().setDescription(description.toString());
//test = extent.createTest(result.getMethod().getMethodName());
for (String group : result.getMethod().getGroups())
test.assignCategory(group);
List<String> outputList = Reporter.getOutput(result);
for(String output:outputList){
//将用例的log输出报告中
test.debug(output.replaceAll("<","<").replaceAll(">",">"));
}
if (result.getThrowable() != null) {
test.log(status, result.getThrowable());
}
else {
test.log(status, "Test " + status.toString().toLowerCase() + "ed");
}
//设置log的时间,根据ReportUtil.log()的特定格式进行处理获取数据log的时间
Iterator logIterator = test.getModel().getLogContext().getIterator();
while (logIterator.hasNext()){
Log log = (Log) logIterator.next();
String details = log.getDetails();
if(details.contains(ReportUtil.getSpiltTimeAndMsg())){
String time = details.split(ReportUtil.getSpiltTimeAndMsg())[0];
log.setTimestamp(getTime(Long.valueOf(time)));
log.setDetails(details.substring(time.length()+ReportUtil.getSpiltTimeAndMsg().length()));
}else{
log.setTimestamp(getTime(result.getEndMillis()));
}
}
test.getModel().setStartTime(getTime(result.getStartMillis()));
test.getModel().setEndTime(getTime(result.getEndMillis()));
}
}
}
private Date getTime(long millis) {
Calendar calendar = Calendar.getInstance();
calendar.setTimeInMillis(millis);
return calendar.getTime();
}
}
当我们在testng.xml文件中添加要执行的测试用例suite并执行testng.xml文件,执行完的结果就在项目的test-output/index.html路径下,然后选择用浏览器打开就可以看到了测试结果啦~ 如下:
以上就是对testng监听器在测试自动化中的常见使用啦~ 对你有帮助的话,点个喜欢❤️吧~~