记录做分片上传文件(SparkMD5)

一、为什么要使用分片上传

要用分片上传,首先要知道为什么要使用分片上传,或者说那些场景下要使用分片上传。

    1.文件过大:一个文件过大,几个G或者几十G的大文件就非常适合分片上传

    2.网络不稳定:网络时好时坏或者比较慢的情况

    3.断点续传:传了一部分后暂停想继续传的时候,分片上传也是个不错的选择(断点续传需要考虑其他因素,这里不做具体详情的讲说)

二、安装spark-md5

npm i spark-md5

三、实现方法

import SparkMD5 from 'spark-md5'
import mofangAi from '@/lib/mofangAi.js'
import $ from 'jquery'
import store from '@/store/index'

// 分片大小 5m
const chunkSize = 5 * 1024 * 1024
// 允许上传的文件类型
const allowType = [
  'image/jpg',
  'image/png'
]

/**
 * 压缩图片
 *@param img 被压缩的img对象
 * @param type 压缩后转换的文件类型
 * @param mx 触发压缩的图片最大宽度限制
 * @param mh 触发压缩的图片最大高度限制
 */
export function compressImg (img, type, mx, mh) {
  return new Promise((resolve) => {
    const canvas = document.createElement('canvas')
    const context = canvas.getContext('2d')
    const { width: originWidth, height: originHeight } = img
    // 最大尺寸限制
    const maxWidth = mx
    const maxHeight = mh
    // 目标尺寸
    let targetWidth = originWidth
    let targetHeight = originHeight
    if (originWidth > maxWidth || originHeight > maxHeight) {
      if (originWidth / originHeight > 1) {
        // 宽图片
        targetWidth = maxWidth
        targetHeight = Math.round(maxWidth * (originHeight / originWidth))
      } else {
        // 高图片
        targetHeight = maxHeight
        targetWidth = Math.round(maxHeight * (originWidth / originHeight))
      }
    }
    canvas.width = targetWidth
    canvas.height = targetHeight
    context.clearRect(0, 0, targetWidth, targetHeight)
    // 图片绘制
    context.drawImage(img, 0, 0, targetWidth, targetHeight)
    canvas.toBlob(function (blob) {
      resolve(blob)
    }, type || 'image/png')
  })
}

// 压缩前将file转换成img对象
function readImg (file) {
  return new Promise((resolve, reject) => {
    const img = new Image()
    const reader = new FileReader()
    reader.onload = function (e) {
      img.src = e.target.result
    }
    reader.onerror = function (e) {
      reject(e)
    }
    reader.readAsDataURL(file)
    img.onload = function () {
      resolve(img)
    }
    img.onerror = function (e) {
      reject(e)
    }
  })
}

// 批量上传图片(选择+拖拽)
export const newUploadFile = async (
  fileList, type
) => {
  for (var i = 0; i < fileList.length; i++) {
    await uploadFile(
      fileList[i], type
    )
  }
}

export const uploadFile = async (
  file, type
) => {
  // 限制上传文件类型
  const arr = file.name.split('.')
  const fileType = arr[arr.length - 1].toLowerCase()
  const fileSize = file.size
  try {
    if (
      fileSize > 15 * 1024 * 1024 &&
      ['png', 'jpg', 'jpeg'].includes(fileType)
    ) {
      const img = await readImg(file)
      const blob = await compressImg(img, file.type, 660, 432)
      const formData = new FormData()
      formData.append('file', blob, file.name)
    }
  } catch (error) {
    console.log('error', error)
  }
  if (!allowType.includes('.' + fileType)) {
    console.log(`暂不支持上传` + fileType + '格式文件')
    return
  }

  let startTime = new Date().getTime()
  let percent = 0

  // 计算当前选择文件需要的分片数量
  let chunkCount = Math.ceil(fileSize / chunkSize)
  if (fileSize > chunkSize) {
    chunkCount--
  }

  // 获取文件md5
  const fileMd5 = await getFileMd5(file)

  // 向后端请求本次分片上传初始化
  const initUploadParams = {
    chunkCount: chunkCount,
    fileMd5: fileMd5,
    fileName: file.name
  }
  try {
    const res = await mofangAi.initChunk(initUploadParams)
    if (res.status === 0) {
      // 上传成功了
      changeProgress(100, startTime, fileSize, type)
      updataSuccess(res.minioOutput.fileName, type)
      return
    }
    if (res.status === 2) {
      // 上传完成,需要合并
      changeProgress(100, startTime, fileSize, type)
      composeFile(fileMd5, file)
      return
    }

    const chunkUploadUrls = res.minioOutputs
    for (let item of chunkUploadUrls) {
      // 分片开始位置
      let start = (item.partNumber - 1) * chunkSize
      // 分片结束位置
      let end = Math.min(fileSize, start + chunkSize)
      if (item.partNumber === chunkCount) {
        end += chunkSize
      }
      // 取文件指定范围内的byte,从而得到分片数据
      let _chunkFile = file.slice(start, end)
      await $.ajax({
        url: item.uploadUrl,
        type: 'PUT',
        contentType: false,
        processData: false,
        data: _chunkFile,
        xhr: xhrOnProgress(function (evt) {
          // 计算百分比
          percent = Math.floor(
            ((chunkSize * (item.partNumber - 1) + evt.loaded) / file.size) * 100
          )
          changeProgress(
            percent,
            startTime,
            fileSize,
            type
          )
        }),
        success: function () { },
        error: function () {
          console.log('上传失败')
        }
      })
    }
    composeFile(fileMd5, file, type)
  } catch (error) {
    console.log('上传失败')
  }
}
/**
 * 请求后端合并文件
 * @param fileMd5
 * @param file
 */
const composeFile = (
  fileMd5,
  file,
  type
) => {
  const composeParams = {
    fileMd5: fileMd5,
    fileName: file.name
  }
  mofangAi.composeFile(composeParams).then((res) => {
    updataSuccess(res.fileName, type)
  })
}

/**
 * 获取文件MD5
 * @param file
 * @returns {Promise<unknown>}
 */
const getFileMd5 = (file) => {
  var fileReader = new FileReader()
  var blobSlice = File.prototype.mozSlice || File.prototype.webkitSlice || File.prototype.slice
  var chunkSize1 = 102400
  var chunks = Math.ceil(file.size / chunkSize1)
  var currentChunk = 0
  var spark = new SparkMD5()
  return new Promise((resolve) => {
    fileReader.onload = function (e) {
      spark.appendBinary(e.target.result) // append binary string
      currentChunk++
      if (currentChunk < chunks) {
        loadNext()
      } else {
        resolve(spark.end())
      }
    }
    fileReader.onerror = () => {
      // ElMessage.error({
      //   message: '文件读取失败,无法上传该文件',
      //   duration: 1000
      // })
      console.log('文件读取失败,无法上传该文件')
      const body = document.querySelector('body')
      const uploadStatus = document.getElementById('upload-status')
      body.removeChild(uploadStatus)
    }

    function loadNext () {
      var start = currentChunk * chunkSize1
      var end = start + chunkSize1 >= file.size ? file.size : start + chunkSize1
      fileReader.readAsBinaryString(blobSlice.call(file, start, end))
    }

    loadNext()
  })
}

// 分片成功的回调
const xhrOnProgress = function (fun) {
  xhrOnProgress.onprogress = fun // 绑定监听
  // 使用闭包实现监听绑
  return function () {
    // 通过$.ajaxSettings.xhr();获得XMLHttpRequest对象
    var xhr = $.ajaxSettings.xhr()
    // 判断监听函数是否为函数
    if (typeof xhrOnProgress.onprogress !== 'function') return xhr
    // 如果有监听函数并且xhr对象支持绑定时就把监听函数绑定上去
    if (xhrOnProgress.onprogress && xhr.upload) {
      xhr.upload.onprogress = xhrOnProgress.onprogress
    }
    return xhr
  }
}

// 上传成功回调
const updataSuccess = function (name, type) {
  let updataSuccessData = {
    name: name,
    type: type
  }
  store.commit('setName', updataSuccessData)
}

// 上传进度更新
const changeProgress = function (
  percent,
  startTime,
  fileSize,
  type
) {
  let nowTime = new Date().getTime()
  console.log('上传进度' + parseInt(percent) + '%')
  console.log('上传时间' + secondsFormat(nowTime - startTime))
  console.log('上传文件剩余大小' + sizeFormat((fileSize * percent) / 100) + '/' + sizeFormat(fileSize))
}

// 计算剩余时间
const secondsFormat = function (ms) {
  var s = Math.floor(ms / 1000)
  var day = Math.floor(s / (24 * 3600))
  var hour = Math.floor((s - day * 24 * 3600) / 3600)
  var minute = Math.floor((s - day * 24 * 3600 - hour * 3600) / 60)
  var second = s - day * 24 * 3600 - hour * 3600 - minute * 60
  let str = ''
  if (day) {
    str += day + ':'
  }
  str =
    str +
    (hour > 9 ? hour : '0' + hour) +
    ':' +
    (minute > 9 ? minute : '0' + minute) +
    ':' +
    (second > 9 ? second : '0' + second)
  return str
}

// 计算剩余大小
const sizeFormat = function (limit) {
  var size = ''
  if (limit < 1 * 1024) {
    size = limit.toFixed(2) + 'B'
  } else if (limit < 1 * 1024 * 1024) {
    size = (limit / 1024).toFixed(2) + 'KB'
  } else if (limit < 1 * 1024 * 1024 * 1024) {
    size = (limit / (1024 * 1024)).toFixed(2) + 'MB'
  } else {
    size = (limit / (1024 * 1024 * 1024)).toFixed(2) + 'GB'
  }
  var sizeStr = size + ''
  var index = sizeStr.indexOf('.')
  var dou = sizeStr.substr(index + 1, 2)
  if (dou === '00') {
    return sizeStr.substring(0, index) + sizeStr.substr(index + 3, 2)
  }
  return size
}

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,335评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,895评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,766评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,918评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,042评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,169评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,219评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,976评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,393评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,711评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,876评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,562评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,193评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,903评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,699评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,764评论 2 351

推荐阅读更多精彩内容