基于spring boot 的大文件切片实现

前言

  因为公司需要开发一套文件管理系统,传统的上传如果是大文件的话会很慢,因此就使用了分片多线程上传来让其上传速度成倍提升。

后端

一、 验证片接口

    /**
     * 校验分片文件是否已经上传
     * @param chunk 分片索引
     * @param chunkSize 分片大小
     * @param guid 文件唯一id
     * @return 分片文件结果
     */
 @PostMapping("checkMd5")
    public AjaxResult checkMd5(@JsonString("chunk") Integer chunk, @JsonString("chunkSize") Integer chunkSize, @JsonString("guid") String guid) {
        //临时文件路径
        String tempPath = SweetNightConfig.getProfile() + File.separator + "temp";
        //要验证的片文件
        File checkFile = new File(tempPath + File.separator + guid + File.separator + chunk);
        AjaxResult ajaxResult = new AjaxResult();
        //比对片文件与其大小
        if (checkFile.exists() && checkFile.length() == chunkSize) {
            ajaxResult.put("ifExist", 1);
        } else {
            ajaxResult.put("ifExist", 0);
        }
        return ajaxResult;

二、片文件上传接口

/**
     * 片文件上传
     * @param file 片文件
     * @param chunk 片索引
     * @param  guid 文件唯一id
     */
    @PostMapping("upload")
    public void upload(MultipartFile file, Integer chunk, String guid) {
        //临时目录            
        String filePath = SweetNightConfig.getProfile() + File.separator + "temp" + File.separator + guid;
        File tempFile = new File(filePath);
        //如果目录不存在就创建临时目录
        if (!tempFile.exists()) {
             tempFile.mkdirs();
        }
        //如果未传片索引值就索引就为0
        if (chunk == null) {
            chunk = 0;
        }
        try {
            //块文件
            File dirFile = new File(filePath, String.valueOf(chunk));
            //存储块文件到临时目录
            file.transferTo(dirFile);

        } catch (Exception e) {
            e.printStackTrace();
        }


    }

三、片合并接口

 /**
     * 合并块
     *
     * @param guid 文件唯一id
     * @param name 合并后的文件名
     */

    @PostMapping("combineBlock")
    public void combineBlock(@JsonString("guid") String guid, @JsonString("name") String name) {
        //文件存储目录
        String filePathStr = SweetNightConfig.getUploadPath();
        //临时文件目录
        File tempPath = new File(SweetNightConfig.getProfile() + File.separator + "temp" + File.separator + guid);
        String realFilePath = FileUploadUtils.extractFilename(name);
        //真实目录路径
        filePathStr = filePathStr + "/" + StringUtils.substringBeforeLast(StringUtils.remove(realFilePath, Constants.RESOURCE_PREFIX), "/") + "/";
        File filePath = new File(filePathStr);
        //判断存储目录是否存在不存在先创建
        if (!filePath.exists()) {
            filePath.mkdirs();
        }
        //合并后的文件路径
        File file = new File(filePathStr + File.separator + name);
        FileOutputStream fileOutputStream = null;
        FileChannel fileChannel = null;
        FileChannel fcout = null;
        try {
            fileOutputStream = new FileOutputStream(file, true);
            fcout = fileOutputStream.getChannel();
            //判断临时文件是否存在
            if (tempPath.exists()) {
                //获取目录下的所有文件
                File[] tempFiles = tempPath.listFiles();
                //按文件名进行排序
                Arrays.sort(tempFiles, (o1, o2) -> {
                    if (Integer.parseInt(o1.getName()) < Integer.parseInt(o2.getName())) {
                        return -1;
                    }
                    if (Integer.parseInt(o1.getName()) == Integer.parseInt(o2.getName())) {
                        return 0;
                    }
                    return 1;
                });
                // 分配缓冲区10M
                ByteBuffer byteBuffer = ByteBuffer.allocate(10 * 1024 * 1024);
                for (int i = 0; i < tempFiles.length; i++) {
                    FileInputStream fis = new FileInputStream(tempFiles[i]);
                    fileChannel = fis.getChannel();
                    if (fileChannel.read(byteBuffer) != -1) {
                        //缓冲区重设限制缓存区最大可写入数据为当前写入位置,且缓冲区从0开始计算
                        byteBuffer.flip();
                        //判断当前缓存区是否已经写完如果未写完继续写
                        while (byteBuffer.hasRemaining()) {
                            //将片数据写入文件中进行合并
                            fcout.write(byteBuffer);
                        }
                    }
                    //清除写完的缓冲区
                    byteBuffer.clear();
                    //关闭通道
                    fis.close();
                    //删除写完的块
                    tempFiles[i].delete();

                }
                //合并完成关闭文件流
                fileOutputStream.close();
                if (tempPath.isDirectory() && tempPath.exists()) {
                    System.gc();
                    //删除临时文件夹
                    tempPath.delete();
                }
                log.info(tempPath.getAbsolutePath());

            }

        } catch (Exception e) {
            e.printStackTrace();

        }
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容