大规格文件的上传优化思路详解

5. 上传进度

虽然分片批量上传比大文件单次上传会快很多，也还是有一段加载时间，这时应该加上上传进度的提示，实时显示文件上传进度。

原生 Javascript 的 XMLHttpRequest 有提供 progress 事件，这个事件会返回文件已上传的大小和总大小。项目使用 axios 对 ajax 进行封装，可以在 config 中增加 onUploadProgress 方法，监听文件上传进度。

const config = {
 onUploadProgress: progressEvent => {
 var complete = (progressEvent.loaded / progressEvent.total * 100 | 0) + '%'
 }
}
services.uploadChunk(form, config)

6. 合并分片

上传完所有文件分片后，前端主动通知服务端进行合并，服务端接受到这个请求时主动合并切片，通过文件 MD5 在服务器的文件上传路径中找到同名文件夹。从上文可知，文件分片是按照分片序号命名的，而分片上传接口是异步的，无法保证服务器接收到的切片是按照请求顺序拼接。所以应该在合并文件夹里的分片文件前，根据文件名进行排序，然后再通过 concat-files 合并分片文件，得到用户上传的文件。至此大文件上传就完成了。

Node 端代码：

// 合并文件
exports.merge = {
 validate: {
 query: {
  fileName: Joi.string()
  .trim()
  .required()
  .description('文件名称'),
  md5: Joi.string()
  .trim()
  .required()
  .description('文件md5'),
  size: Joi.string()
  .trim()
  .required()
  .description('文件大小'),
 },
 },
 permission: {
 roles: ['user'],
 },
 async handler (ctx) {
 const { fileName, md5, size } = ctx.request.query
 let { name, base: filename, ext } = path.parse(fileName)
 const newFileName = randomFilename(name, ext)
 await mergeFiles(path.join(uploadDir, md5), uploadDir, newFileName, size)
  .then(async () => {
  const file = {
   key: newFileName,
   name: filename,
   mime_type: mime.getType(`${uploadDir}/${newFileName}`),
   ext,
   path: `${uploadDir}/${newFileName}`,
   provider: 'oss',
   size,
   owner: ctx.state.user.id,
  }
  const key = encodeURIComponent(file.key)
   .replace(/%/g, '')
   .slice(-100)
  file.url = await uploadLocalFileToOss(file.path, key)
  file.url = getFileUrl(file)
  const f = await File.create(omit(file, 'path'))
  const files = []
  files.push(f)
  ctx.body = invokeMap(files, 'toJSON')
  })
  .catch(() => {
  throw Boom.badData('大文件分片合并失败，请稍候重试~')
  })
 },
}

总结

大规格文件上传优化的一些做法，总结为以下 4 点：

ob.slice 将文件切片，并发上传多个切片，所有切片上传后告知服务器合并，实现大文件分片上传； 原生 XMLHttpRequest 的 onprogress 对切片上传进度的监听，实时获取文件上传进度； spark-md5 根据文件内容算出文件 MD5，得到文件唯一标识，与文件上传状态绑定； 分片上传前通过文件 MD5 查询已上传切片列表，上传时只上传未上传过的切片，实现断点续传。

 3/4   首页 上一页 1 2 3 4 下一页 尾页