Java SpringMVC上传文件并去重(MD5中MappedByteBuffer的坑)

最近在写一个管理系统,有图片上传的需求。使用SpringMVC的MultipartFile很好实现,就不赘述。之前一直使用随机生成的文件名保存文件去重,但是这样无法保证文件的唯一性,之后自己想着添加一个唯一去重的功能,首先想到了MD5的。

正好我在使用的MD5工具类中有getFileMD5方法,所以第一版本直接使用工具类的方法获取文件MD5:

思路1: 先将接受到的MultipartFile对象转换成File对象,然后获取MD5值,用MD5值作为文件名保存文件,删掉临时保存的File文件;

/**

     * 图片上传去重,错误代码

     *

     *@paramimage

     */

    @RequestMapping("/upload")

    publicvoidupload(@RequestParamMultipartFilemultipartFile) {

         try{

             if(multipartFile!=null) {

                 // 获取文件原名

                 StringoriginalFilename=multipartFile.getOriginalFilename();

                 // 获取文件扩展名

                 Stringextension= FileUtils.getExtensionByName(originalFilename);

                 // 随机生成唯一临时名称

                 StringuuidString= CommonUtil.getUUIDString(32);

                 StringnewFileName=uuidString+"."+extension;

                 // 将文件临时保存

                 Filedest=newFile(savePath,newFileName);

                 if(!dest.getParentFile().exists()) {

                      dest.getParentFile().mkdirs();

                 }

                 multipartFile.transferTo(dest);

                 // 获取文件MD5值

                 StringfileMD5= MD5.getFileMD5(dest);

                 // 将MD5值作为最终文件名

                 StringfinalName=fileMD5+"."+extension;

                 FilefinalFile=newFile(dest.getParent() +"/"+finalName);

                 if(!finalFile.exists()) {

                      // 复制文件

                      FileUtils.copyFile(dest,finalFile);

                 }

                 // 删除临时文件

                 booleandelete=dest.delete();

                 if(!delete) {

                      System.out.println("文件删除失败:"+dest.getCanonicalPath());

                 }

                 System.out.println(dest.getName());

             }

         }catch(IOExceptione) {

             e.printStackTrace();

         }

    }

运行时发现dest临时文件每次都删不掉,这样就导致,文件还是越来越多。一开始我以为是什么地方使用了流没有关闭,深入源码去分析发现没有流未关闭的情况。经过多次测试,问题定位在getFileMD5方法。这个方法内部的流也都关闭,看起来好像也没有什么问题。困扰了我很久,最后认真了解这个方法使用的FileChannel和MappedByteBuffer这两个类。

FileChannel是一个用读写,映射和操作一个文件的通道。通过将源文件和目标文件的文件通道连接,直接将数据写入目标文件中,避免分别进行读取和写入操作,提高文件操作的效率;

MappedByteBuffer使用内存映射缓冲区读取文件,提高文件读写的效率;

乍一看两个类都只是提高文件传输效率的,好像没什么问题。但是去API仔细一看,就发现MappedByteBuffer这个类有坑;MappedByteBuffer存在内存占用和文件关闭等不确定问题。被MappedByteBuffer打开的文件只有在垃圾收集时才会被关闭,而这个点是不确定的。javadoc里是这么说的:

A mapped byte buffer and the file mapping that it represents remain valid until the buffer itself is garbage-collected. ——JavaDoc

最终确定是MappedByteBuffer这个类搞的鬼导致文件被占用,删除不掉。


问题找到,所以我放弃使用之前工具类的MD5方法,自己写了一个从文件流获取MD5的方法。

思路2:文件存储的逻辑就变成了:从MultipartFile中获取输入流,获取流的MD5值,保存。

这样,不仅完美解决需求,相比之前的代码,精简了很多步骤。

    /**

     * 图片上传

     *

     *@paramimage

     */

    @RequestMapping("/upload")

    publicvoidupload(@RequestParamMultipartFilemultipartFile) {

        StringsavePath="C:\\Users\\ph\\Desktop\\";

         try{

             if(multipartFile!=null) {

                 // 从MultipartFile中获取输入流

                 InputStreamin=multipartFile.getInputStream();

                 // 获取流的MD5值

                 StringstreamMD5= MD5.getStreamMD5(in);

                 // 获取文件原名

                 StringoriginalFilename=multipartFile.getOriginalFilename();

                 // 获取文件扩展名

                 Stringextension= FileUtils.getExtensionByName(originalFilename);

                 // 使用MD5值作为文件名

                 StringnewFileName=streamMD5+"."+extension;

                 // 将文件存到服务器

                 Filedest=newFile(savePath,newFileName);

                 if(!dest.getParentFile().exists()) {

                      dest.getParentFile().mkdirs();

                 }

                 if(!dest.exists()) {

                     multipartFile.transferTo(dest);

                 }

                 System.out.println(dest.getName());

             }

         }catch(IOExceptione) {

             e.printStackTrace();

         }

    }

附上MD5工具类的两个方法:

publicclassMD5 {

    privatestaticfinalLoggerlogger= LoggerFactory.getLogger(MD5.class);

    protectedstaticcharhexDigits[] = {'0','1','2','3','4','5','6','7','8','9','a','b','c','d','e',

             'f'};

    protectedstaticMessageDigestmessagedigest=null;

    static{

         try{

             messagedigest= MessageDigest.getInstance("MD5");

         }catch(NoSuchAlgorithmExceptione) {

             logger.error("MD5FileUtil messagedigest初始化失败",e);

         }

    }

    publicstaticString getFileMD5(Filefile) {

         FileInputStreamin=null;

         FileChannelch=null;

         Stringmd5="";

         try{

             in=newFileInputStream(file);

             ch=in.getChannel();

             // MappedByteBuffer存在内存占用和文件关闭等不确定问题。如果后续有操作文件需求,不建议使用

             MappedByteBufferbyteBuffer=ch.map(FileChannel.MapMode.READ_ONLY, 0,file.length());

             messagedigest.update(byteBuffer);

             byteBuffer.clear();

             md5=bufferToHex(messagedigest.digest());

             System.out.println(md5);

         }catch(FileNotFoundExceptione) {

             e.printStackTrace();

         }catch(IOExceptione) {

             e.printStackTrace();

         }finally{

             if(ch!=null) {

                 try{

                      ch.close();

                 }catch(IOExceptione) {

                      e.printStackTrace();

                 }

             }

             if(in!=null) {

                 try{

                      in.close();

                 }catch(IOExceptione) {

                      e.printStackTrace();

                 }

             }

         }

         returnmd5;

    }

    publicstaticString getStreamMD5(InputStreamin) {

         Stringmd5="";

         try{

             ByteBufferbyteBuffer= ByteBuffer.wrap(IOUtils.toByteArray(in));

             messagedigest.update(byteBuffer);

             byteBuffer.clear();

             md5=bufferToHex(messagedigest.digest());

         }catch(FileNotFoundExceptione) {

             e.printStackTrace();

         }catch(IOExceptione) {

             e.printStackTrace();

         }finally{

             if(in!=null) {

                 try{

                      in.close();

                 }catch(IOExceptione) {

                      e.printStackTrace();

                 }

             }

         }

         returnmd5;

    }

    privatestaticString bufferToHex(bytebytes[]) {

         returnbufferToHex(bytes, 0,bytes.length);

    }

    privatestaticString bufferToHex(bytebytes[],intm,intn) {

         StringBufferstringbuffer=newStringBuffer(2 *n);

         intk=m+n;

         for(intl=m;l

             appendHexPair(bytes[l],stringbuffer);

         }

         returnstringbuffer.toString();

    }

    privatestaticvoidappendHexPair(bytebt, StringBufferstringbuffer) {

         charc0=hexDigits[(bt& 0xf0) >> 4];

         charc1=hexDigits[bt& 0xf];

         stringbuffer.append(c0);

         stringbuffer.append(c1);

    }

}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351