多线程断点

Android多线程断点续传下载



原理

其实断点续传的原理很简单,从字面上理解,所谓断点续传就是从停止的地方重新下载。

断点:线程停止的位置。

续传:从停止的位置重新下载。

用代码解析就是:

断点 : 当前线程已经下载完成的数据长度。

续传 : 向服务器请求上次线程停止位置之后的数据。

原理知道了,功能实现起来也简单。每当线程停止时就把已下载的数据长度写入记录文件,当重新下载时,从记录文件读取已经下载了的长度。而这个长度就是所需要的断点。

续传的实现也简单,可以通过设置网络请求参数,请求服务器从指定的位置开始读取数据。

而要实现这两个功能只需要使用到httpURLconnection里面的setRequestProperty方法便可以实现.

publicvoidsetRequestProperty(String field, String newValue)

如下所示,便是向服务器请求500-1000之间的500个byte:

conn.setRequestProperty("Range","bytes="+500+"-"+1000);

以上只是续传的一部分需求,当我们获取到下载数据时,还需要将数据写入文件,而普通发File对象并不提供从指定位置写入数据的功能,这个时候,就需要使用到RandomAccessFile来实现从指定位置给文件写入数据的功能。

publicvoidseek(longoffset)

如下所示,便是从文件的的第100个byte后开始写入数据。

raFile.seek(100);

而开始写入数据时还需要用到RandomAccessFile里面的另外一个方法

publicvoidwrite(byte[] buffer,intbyteOffset,intbyteCount)

该方法的使用和OutputStream的write的使用一模一样...

以上便是断点续传的原理。

多线程断点续传

而多线程断点续传便是在单线程的断点续传上延伸的,而多线程断点续传是把整个文件分割成几个部分,每个部分由一条线程执行下载,而每一条下载线程都要实现断点续传功能。

为了实现文件分割功能,我们需要使用到httpURLconnection的另外一个方法:

publicintgetContentLength()

当请求成功时,可以通过该方法获取到文件的总长度。

每一条线程下载大小 = fileLength / THREAD_NUM

如下图所示,描述的便是多线程的下载模型:

多线程下载描述

在多线程断点续传下载中,有一点需要特别注意:

由于文件是分成多个部分是被不同的线程的同时下载的,这就需要,每一条线程都分别需要有一个断点记录,和一个线程完成状态的记录;

如下图所示:

多线程记录

只有所有线程的下载状态都处于完成状态时,才能表示文件已经下载完成。

实现记录的方法多种多样,我这里采用的是JDK自带的Properties类来记录下载参数。

断点续传结构

通过原理的了解,便可以很快的设计出断点续传工具类的基本结构图

这里写图片描述

IDownloadListener.java

packagecom.arialyy.frame.http.inf;importjava.net.HttpURLConnection;/**

    * 在这里面编写你的业务逻辑

    */publicinterfaceIDownloadListener{/**

        * 取消下载

        */publicvoidonCancel();/**

        * 下载失败

        */publicvoidonFail();/**

        * 下载预处理,可通过HttpURLConnection获取文件长度

        */publicvoidonPreDownload(HttpURLConnection connection);/**

        * 下载监听

        */publicvoidonProgress(longcurrentLocation);/**

        * 单一线程的结束位置

        */publicvoidonChildComplete(longfinishLocation);/**

        * 开始

        */publicvoidonStart(longstartLocation);/**

        * 子程恢复下载的位置

        */publicvoidonChildResume(longresumeLocation);/**

        * 恢复位置

        */publicvoidonResume(longresumeLocation);/**

        * 停止

        */publicvoidonStop(longstopLocation);/**

        * 下载完成

        */publicvoidonComplete();    }

该类是下载监听接口

DownloadListener.java

importjava.net.HttpURLConnection;/**

* 下载监听

*/publicclassDownloadListenerimplementsIDownloadListener{@OverridepublicvoidonResume(longresumeLocation){    }@OverridepublicvoidonCancel(){    }@OverridepublicvoidonFail(){    }@OverridepublicvoidonPreDownload(HttpURLConnection connection){    }@OverridepublicvoidonProgress(longcurrentLocation){    }@OverridepublicvoidonChildComplete(longfinishLocation){    }@OverridepublicvoidonStart(longstartLocation){    }@OverridepublicvoidonChildResume(longresumeLocation){    }@OverridepublicvoidonStop(longstopLocation){    }@OverridepublicvoidonComplete(){    }}

下载参数实体

/**

    * 子线程下载信息类

    */privateclassDownloadEntity{//文件总长度longfileSize;//下载链接String downloadUrl;//线程IdintthreadId;//起始下载位置longstartLocation;//结束下载的文章longendLocation;//下载文件File tempFile;        Context context;publicDownloadEntity(Context context,longfileSize, String downloadUrl, File file,intthreadId,longstartLocation,longendLocation){this.fileSize = fileSize;this.downloadUrl = downloadUrl;this.tempFile = file;this.threadId = threadId;this.startLocation = startLocation;this.endLocation = endLocation;this.context = context;        }    }

该类是下载信息配置类,每一条子线程的下载都需要一个下载实体来配置下载信息。

下载任务线程

/**

    * 多线程下载任务类

    */privateclassDownLoadTaskimplementsRunnable{privatestaticfinalString TAG ="DownLoadTask";privateDownloadEntity dEntity;privateString configFPath;publicDownLoadTask(DownloadEntity downloadInfo){this.dEntity = downloadInfo;            configFPath = dEntity.context.getFilesDir().getPath() +"/temp/"+ dEntity.tempFile.getName() +".properties";        }@Overridepublicvoidrun(){try{                L.d(TAG,"线程_"+ dEntity.threadId +"_正在下载【"+"开始位置 : "+ dEntity.startLocation +",结束位置:"+ dEntity.endLocation +"】");                URL url =newURL(dEntity.downloadUrl);                HttpURLConnection conn = (HttpURLConnection) url.openConnection();//在头里面请求下载开始位置和结束位置conn.setRequestProperty("Range","bytes="+ dEntity.startLocation +"-"+ dEntity.endLocation);                conn.setRequestMethod("GET");                conn.setRequestProperty("Charset","UTF-8");                conn.setConnectTimeout(TIME_OUT);                conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)");                conn.setRequestProperty("Accept","image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");                conn.setReadTimeout(2000);//设置读取流的等待时间,必须设置该参数InputStream is = conn.getInputStream();//创建可设置位置的文件RandomAccessFile file =newRandomAccessFile(dEntity.tempFile,"rwd");//设置每条线程写入文件的位置file.seek(dEntity.startLocation);byte[] buffer =newbyte[1024];intlen;//当前子线程的下载位置longcurrentLocation = dEntity.startLocation;while((len = is.read(buffer)) != -1) {if(isCancel) {                        L.d(TAG,"++++++++++ thread_"+ dEntity.threadId +"_cancel ++++++++++");break;                    }if(isStop) {break;                    }//把下载数据数据写入文件file.write(buffer,0, len);synchronized(DownLoadUtil.this) {                        mCurrentLocation += len;                        mListener.onProgress(mCurrentLocation);                    }                    currentLocation += len;                }                file.close();                is.close();if(isCancel) {synchronized(DownLoadUtil.this) {                        mCancelNum++;if(mCancelNum == THREAD_NUM) {                            File configFile =newFile(configFPath);if(configFile.exists()) {                                configFile.delete();                            }if(dEntity.tempFile.exists()) {                                dEntity.tempFile.delete();                            }                            L.d(TAG,"++++++++++++++++ onCancel +++++++++++++++++");                            isDownloading =false;                            mListener.onCancel();                            System.gc();                        }                    }return;                }//停止状态不需要删除记录文件if(isStop) {synchronized(DownLoadUtil.this) {                        mStopNum++;                        String location = String.valueOf(currentLocation);                        L.i(TAG,"thread_"+ dEntity.threadId +"_stop, stop location ==> "+ currentLocation);                        writeConfig(dEntity.tempFile.getName() +"_record_"+ dEntity.threadId, location);if(mStopNum == THREAD_NUM) {                            L.d(TAG,"++++++++++++++++ onStop +++++++++++++++++");                            isDownloading =false;                            mListener.onStop(mCurrentLocation);                            System.gc();                        }                    }return;                }                L.i(TAG,"线程【"+ dEntity.threadId +"】下载完毕");                writeConfig(dEntity.tempFile.getName() +"_state_"+ dEntity.threadId,1+"");                mListener.onChildComplete(dEntity.endLocation);                mCompleteThreadNum++;if(mCompleteThreadNum == THREAD_NUM) {                    File configFile =newFile(configFPath);if(configFile.exists()) {                        configFile.delete();                    }                    mListener.onComplete();                    isDownloading =false;                    System.gc();                }            }catch(MalformedURLException e) {                e.printStackTrace();                isDownloading =false;                mListener.onFail();            }catch(IOException e) {                FL.e(this,"下载失败【"+ dEntity.downloadUrl +"】"+ FL.getPrintException(e));                isDownloading =false;                mListener.onFail();            }catch(Exception e) {                FL.e(this,"获取流失败"+ FL.getPrintException(e));                isDownloading =false;                mListener.onFail();            }        }

这个是每条下载子线程的下载任务类,子线程通过下载实体对每一条线程进行下载配置,由于在多断点续传的概念里,停止表示的是暂停状态,而恢复表示的是线程从记录的断点重新进行下载,所以,线程处于停止状态时是不能删除记录文件的。

下载入口

/**    * 多线程断点续传下载文件,暂停和继续    *    *@paramcontext          必须添加该参数,不能使用全局变量的context    *@paramdownloadUrl      下载路径    *@paramfilePath        保存路径    *@paramdownloadListener 下载进度监听 {@linkDownloadListener}    */publicvoiddownload(finalContext context, @NonNullfinalString downloadUrl, @NonNullfinalString filePath,                        @NonNullfinalDownloadListener downloadListener){        isDownloading =true;        mCurrentLocation =0;        isStop =false;        isCancel =false;        mCancelNum =0;        mStopNum =0;finalFile dFile =newFile(filePath);//读取已完成的线程数finalFile configFile =newFile(context.getFilesDir().getPath() +"/temp/"+ dFile.getName() +".properties");try{if(!configFile.exists()) {//记录文件被删除,则重新下载newTask =true;                FileUtil.createFile(configFile.getPath());            }else{                newTask =false;            }        }catch(Exception e) {            e.printStackTrace();            mListener.onFail();return;        }        newTask = !dFile.exists();newThread(newRunnable() {@Overridepublicvoidrun(){try{                    mListener = downloadListener;                    URL url =newURL(downloadUrl);                    HttpURLConnection conn = (HttpURLConnection) url.openConnection();                    conn.setRequestMethod("GET");                    conn.setRequestProperty("Charset","UTF-8");                    conn.setConnectTimeout(TIME_OUT);                    conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)");                    conn.setRequestProperty("Accept","image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");                    conn.connect();intlen = conn.getContentLength();if(len <0) {//网络被劫持时会出现这个问题mListener.onFail();return;                    }intcode = conn.getResponseCode();if(code ==200) {intfileLength = conn.getContentLength();//必须建一个文件FileUtil.createFile(filePath);                        RandomAccessFile file =newRandomAccessFile(filePath,"rwd");//设置文件长度file.setLength(fileLength);                        mListener.onPreDownload(conn);//分配每条线程的下载区间Properties pro =null;                        pro = Util.loadConfig(configFile);intblockSize = fileLength / THREAD_NUM;                        SparseArray tasks =newSparseArray<>();for(inti =0; i < THREAD_NUM; i++) {longstartL = i * blockSize, endL = (i +1) * blockSize;                            Object state = pro.getProperty(dFile.getName() +"_state_"+ i);if(state !=null&& Integer.parseInt(state +"") ==1) {//该线程已经完成mCurrentLocation += endL - startL;                                L.d(TAG,"++++++++++ 线程_"+ i +"_已经下载完成 ++++++++++");                                mCompleteThreadNum++;if(mCompleteThreadNum == THREAD_NUM) {if(configFile.exists()) {                                        configFile.delete();                                    }                                    mListener.onComplete();                                    isDownloading =false;                                    System.gc();return;                                }continue;                            }//分配下载位置Object record = pro.getProperty(dFile.getName() +"_record_"+ i);if(!newTask && record !=null&& Long.parseLong(record +"") >0) {//如果有记录,则恢复下载Long r = Long.parseLong(record +"");                                mCurrentLocation += r - startL;                                L.d(TAG,"++++++++++ 线程_"+ i +"_恢复下载 ++++++++++");                                mListener.onChildResume(r);                                startL = r;                            }if(i == (THREAD_NUM -1)) {                                endL = fileLength;//如果整个文件的大小不为线程个数的整数倍,则最后一个线程的结束位置即为文件的总长度}                            DownloadEntity entity =newDownloadEntity(context, fileLength, downloadUrl, dFile, i, startL, endL);                            DownLoadTask task =newDownLoadTask(entity);                            tasks.put(i,newThread(task));                        }if(mCurrentLocation >0) {                            mListener.onResume(mCurrentLocation);                        }else{                            mListener.onStart(mCurrentLocation);                        }for(inti =0, count = tasks.size(); i < count; i++) {                            Thread task = tasks.get(i);if(task !=null) {                                task.start();                            }                        }                    }else{                        FL.e(TAG,"下载失败,返回码:"+ code);                        isDownloading =false;                        System.gc();                        mListener.onFail();                    }                }catch(IOException e) {                    FL.e(this,"下载失败【downloadUrl:"+ downloadUrl +"】\n【filePath:"+ filePath +"】"+ FL.getPrintException(e));                    isDownloading =false;                    mListener.onFail();                }            }        }).start();    }

其实也没啥好说的,注释已经很完整了,需要注意两点

1、恢复下载时:已下载的文件大小 = 该线程的上一次断点的位置 - 该线程起始下载位置;

2、为了保证下载文件的完整性,只要记录文件不存在就需要重新进行下载;

最终效果

最终效果

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容

  • 什么是多线程下载 举例: 一个装有水的水桶(要下载的资源),出水口(下载线程),出水口越多,水流的越快。即多个线程...
    ccplay5grate阅读 277评论 0 2
  • 前言 安卓技术学习图谱(持续更新中,欢迎关注)https://github.com/Sakuragi/androi...
    AIl_Blue阅读 2,677评论 0 27
  • 最近闲的比较蛋疼,原本软件计划招20个人的,现在14个人的团队都是一半在打酱油,这跟全国经济形势有关,我们也没太大...
    solary2016阅读 1,821评论 0 7
  • 有时候想说的话有很多,当我想记录下来的时候,却又不知该如何下笔。或许只是想说些什么,属于自己一个人的秘密。我爱你,...
    小袁籽儿阅读 248评论 0 0
  • 不知不觉,写宝贝的故事已经两百多天了,看着宝贝一天天的成长,点点滴滴的感动常常涌现心里。 今天午后,宝爸在午休,因...
    悦清儿阅读 251评论 0 0