JAVA + LR实现apache流媒体的性能测试

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe

最近的一个项目,视频点播系统,使用apache实现的流媒体服务器。其实准确的说叫做伪流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。

让我简单的描述就是仍然是HTTP下载,播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。视频点播类系统的性能测试,说简单了主要就是模拟大量用户去看视频。服务端监控整体性能,客户端关注各自表现。这里难点主要在于如何模拟大量用户观看视频?如何判断各客户端展现?

多客户端的模拟无外乎3种方法:

1.全公司总动员,一起看。

2.一台机器开多个播放页面(或者是一个页面上嵌入多个播放器),调用多台机器。

3.抛弃客户端的解码播放过程,直接想法下载视频文件。

第一种方法不用说,虽然最真实,但太原始没有技术含量,如果是小公司人还不一定够。

第二种方法在需要测试的用户数不大时还可以,否则会占用较多资源,而且技术含量也较低。这种方式,一台机器上能模拟的用户数很有限,因为CPU会很快成为瓶颈。

第三种方法最高效,在千兆网环境下,一台机器可以模拟很多路用户,此时网络带宽是瓶颈(如果带宽更大,估计硬盘IO就是瓶颈了)。但是没有解码和播放,如何判断客户端的效果呢?两种方式,一是对比下载速度和码率,理论上只要下载速度足够就可以了;二是测试过程中也可以打开几个真实的播放窗口来验证播放效果,因为压力在服务端,可以认为每个客户端都是等价的。

本文要讲的就是第三种测试方法。

以前还测过FMS的流媒体,网上可以找到现成的工具来实现本方法,只要调用就可以了。但HTTP的这次也搜了两天,好像还真没有,只好自己动手了。看来最高效的方法,实现起来却是最麻烦的。基本思路是JAVA实现下载功能,用LR的JAVA Vuser实现多用户的控制。动手前先给自己整理了一个需求

功能:

模拟下载√

播放列表√

下载速度记录:总平均速度、每秒速度√

*伪装成播放器进行连接

*客户端限速

测试结果:

apache限速

下载速度

文件完整

功能扩展

jar包或者exe文件传参(播放列表)

打对钩的是已经实现了,带星号的是未实现、也不一定需要实现的高级功能。通过测试程序,需要得到的结果是下载是否正确完成?下载速度是否足够?apache的限速模块是否起作用(如果开启)?这里可能会有个问题,如果下载程序突破了apache的限速,那有可能是测试程序的问题,这就引出了上面的高级功能“伪装成播放器”。

下面直接贴代码,说明尽量放到注释里。

下载类,提供静态方法。

package com.test;

import java.io.*;

import java.net.*;

import java.util.*;

public class DownloadFile {

    /*

    *下载指定URL的文件

    *userid是用于保存本地文件的标识

    **/

    public static int getHttpFileByUrl(String address, String userid) {

        int bufferSize = 1024;

        int size = 0;

        byte[] buf = new byte[bufferSize];


        /*

        *下载时间字符串

        *用于文件标识

        *格式201210260130

        **/       

        Date date = new Date();

        SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss");

        String downloadTime = formatDate.format(date);


        /*

          *计算下载速度相关

          */

        int totalDownloadSize = 0;

        int lastDownloadSize = 0;

        long lastCheckTime = 0;

        long startDownloadTime = 0;

        int sec = 0;


        /*

        *下载和计算过程

        */

        try {

            URL url = new URL(address);

            URLConnection conn = url.openConnection();

            BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());

            FileOutputStream fos = new FileOutputStream("e:\test\testvideo" + "_" + downloadTime + "_" + userid);


            System.out.println("File Size:" + conn.getContentLength()/1024 + "KB");


            startDownloadTime = System.currentTimeMillis();

            lastCheckTime = startDownloadTime;


            while ((size = bis.read(buf)) != -1)

            {

                fos.write(buf,0,size);

                totalDownloadSize += size;


                /*

                *计算每秒下载速度

                */

                if (System.currentTimeMillis() - lastCheckTime > 1000) {

                    System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB");

                    lastCheckTime = System.currentTimeMillis();

                    lastDownloadSize = totalDownloadSize;

                    sec++;

                }

            }


            System.out.println("Vuser " + userid + " Download Completed!");

            System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");


            fos.close();

            bis.close();


        }catch (MalformedURLException e) {

            e.printStackTrace();

        }catch (IOException e) {

            e.printStackTrace();

        }


        return totalDownloadSize/1024;

    }   

}

测试驱动。

import com.test.*;

import java.util.*;

import java.io.*;

public class DownloadDrive {

    public static void main (String[] args) {


        //System.out.println("test");

        //DownloadFile.test();


        /*

        *调用者测量

        *自行实现

        */

        int DownLoadSize = 0;

        double DownLoadTime = 0;

        int Speed = 0;


        String url;

        ArrayList urlList = new ArrayList();

        /*

        *读取待下载的URL地址

        *保存到list中

        */

        try{

            BufferedReader br = new BufferedReader(new FileReader("url.txt"));

            while((url = br.readLine()) != null){

                urlList.add(url);

            }   

        }catch(IOException ie){

            ie.printStackTrace();

        }


        System.out.println("Total URLs: " + urlList.size());


        /*

        *依次下载list中的文件

        */

        for(int i = 0; i < urlList.size(); i++){

            url = (String)urlList.get(i);

            System.out.println(url);           

            //传入url和每个调用者的标识

            DownloadFile.getHttpFileByUrl(url, "1");

        }

    }   


}

将待下载的URL保存到url.txt中,每行一个地址。文件放到DownloadDrive.class同目录中。

到这,主要代码已经实现了。下一步需要做的是和LR整合,用LR的Java Vuser对下载功能进行控制,模拟多用户。其实也就是重写一个测试驱动,只不过这个驱动是需要LR内部方法了,应该没有什么技术上的难点了。


接下来,通过LoadRunner来实现多线程的模拟和控制。

新建LR的JAVA Vuser脚本,这里可以直接进行JAVA编码,又可以调用LR的内部方法,如事务、思考时间、集合点等等。到了这步已经没有任何难点了,开发人员只要花1个小时了解下LR的基本使用和常用方法即可,测试人员如果不会JAVA……那还是算了吧。

Action.java内容如下:

import lrapi.lr;

import com.test.*;

import java.util.*;

import java.io.*;

public class Actions

{

    public int init() throws Throwable {

        return 0;

    }//end of init

    public int action() throws Throwable {


        /*

        调用者测量

        */

        int downloadSize = 0;

        int downloadTime = 0;

        long startTime = 0;

        long endTime = 0;

        int speed = 0;

        int vid;

        vid = lr.get_vuser_id();

        /*

        从url文件生成arraylist

            */

        String url;

        ArrayList urlList = new ArrayList();

        try{       

                BufferedReader br = new BufferedReader(new FileReader("url.txt"));

             while((url = br.readLine()) != null){

               urlList.add(url);

        }

        }catch(IOException ie){

          ie.printStackTrace();

        }

        lr.enable_redirection(true);

        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);

        System.out.println("Total URLs: " + urlList.size());

        for(int i = 0; i < urlList.size(); i++){

          url = (String)urlList.get(i);

          System.out.println(url);

          //事务名称

          String trxName = "URL" + (i+1);

          startTime = System.currentTimeMillis();

          lr.start_transaction(trxName);

          //传入url和每个调用者的标识

          downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));

          lr.end_transaction(trxName, lr.AUTO);

          endTime = System.currentTimeMillis();

          downloadTime = (int)(endTime - startTime)/1000;

          speed = downloadSize / downloadTime;

          lr.output_message(trxName + ": completed");

          lr.output_message("time cost: " + downloadTime + "s");

          lr.output_message("average speed: " + speed + "KB/s");

          lr.output_message("");

        }

        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);

        return 0;

    }//end of action

    public int end() throws Throwable {

        return 0;

    }//end of end

}

所有以lr开头的方法都是LR内部方法,这里只用到了事务、日志等几个。

编译之前我们的JAVA下载代码,将包(com.test)放入LR脚本的目录中,如图:

打开LR脚本,运行试一下。

可以看到正常输出了日志,再验证一下下载到的文件是否完整,找到输出路径,如“h:testtestvideo_20121106194419_-1”,用播放器打开这个文件,正常播放。说明我们的脚本已经OK了,下面就要做多用户的测试了。

打开controller,设置同时运行2个VUSER(为了保证负载机的网络不成为瓶颈),运行场景。

可以看到,2个VUSER都按预期正常完成了。

从几个方面验证测试的有效性:

1是负载机的网络利用,上面单用户执行脚本时下载速度是5M/s(apache服务器做了限速),这次两个用户同时下载达到了10M。

2是每个VUSER的输出日志。

3是下载文件的完整性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容

  • 第一章 初识javaJAVA 第一讲:什么是程序?:为了让计算机执行某些操作或解决某个问题而编写的一系列有序指令的...
    人子日月几点阅读 523评论 0 1
  • 一:LoadRunner常见问题整理1.LR 脚本为空的解决方法:1.去掉ie设置中的第三方支持取消掉2.在系统属...
    0100阅读 4,134评论 0 11
  • 一. Java基础部分.................................................
    wy_sure阅读 3,811评论 0 11
  • 贪心算法 贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑,它所作出的选择只是在某种意义上...
    fredal阅读 9,238评论 3 52
  • /*【程序21】 * 作者 南枫题目:求1+2!+3!+...+20!的和 1. 程序分析:此程序只是把累加变成了...
    HUC南枫阅读 436评论 0 0