Golang實現異步上傳文件支持進度條查詢的方法

 更新時間:2019年10月25日 15:34:41   作者:aside section   我要評論
這篇文章主要介紹了Golang實現異步上傳文件支持進度條查詢的方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

業務背景

業務需求要求開發一個異步上傳文件的接口,并支持上傳進度的查詢。

需求分析

ZIP壓縮包中,包含一個csv文件和一個圖片文件夾,要求:解析csv數據存入mongo,將圖片文件夾中的圖片信息對應上csv中的人員信息。

ZIP壓縮包解壓

使用golang自帶的 "archive/zip" 包解壓。

func decompressZip(filePath, dest string) (string, string, error) {
  var csvName string
  imageFolder := path.Base(filePath)
  ext := path.Ext(filePath)
  folderName := strings.TrimSuffix(imageFolder, ext)
  src, err := os.Open(filePath)
  if err != nil {
    return "", "", err
  }
  defer src.Close()

  zipFile, err := zip.OpenReader(src.Name())
  if err != nil {
    return "", "", err
  }
  defer zipFile.Close()

  err = os.MkdirAll(path.Join(dest, folderName), os.ModePerm)
  for _, innerFile := range zipFile.File {
    info := innerFile.FileInfo()
    if info.IsDir() {
      continue
    }
    dst, err := os.Create(path.Join(dest, folderName, info.Name()))
    if err != nil {
      fmt.Println(err.Error())
      continue
    }
    src, err := innerFile.Open()
    if err != nil {
      fmt.Println(err.Error())
      continue
    }
    io.Copy(dst, src)
  }
  destPath, err := ioutil.ReadDir(path.Join(dest, folderName))
  if err != nil {
    return "", "", err
  }
  for _, v := range destPath {
    if path.Ext(v.Name()) == ".csv" {
      csvName = path.Join(dest, folderName, v.Name())
    }
  }
  return folderName, csvName, nil
}

在這個解壓的過程中,壓縮包的樹結構只能到2層

import.zip

┝┅┅import.csv

┖┅┅images

在解壓后,所有的文件都會在同一個目錄下,既images中的圖片會變成和.csv文件同級

驗證csv文件編碼格式是否為UTF-8

func ValidUTF8(buf []byte) bool {
  nBytes := 0
  for i := 0; i < len(buf); i++ {
    if nBytes == 0 {
      if (buf[i] & 0x80) != 0 { //與操作之后不為0,說明首位為1
        for (buf[i] & 0x80) != 0 {
          buf[i] <<= 1 //左移一位
          nBytes++   //記錄字符共占幾個字節
        }
        if nBytes < 2 || nBytes > 6 { //因為UTF8編碼單字符最多不超過6個字節
          return false
        }
        nBytes-- //減掉首字節的一個計數
      }
    } else { //處理多字節字符
      if buf[i]&0xc0 != 0x80 { //判斷多字節后面的字節是否是10開頭
        return false
      }
      nBytes--
    }
  }
  return nBytes == 0
}

后續支持utf-8轉碼

這個utf8編碼判斷方法是網上down下來的,后續優化一下

主邏輯

type LineWrong struct {
  LineNumber int64 `json:"line_number"`
  Msg    string `json:"msg"`
}

func Import(/*自定義參數*/){
  // decompress zip file to destination address
  folder, csvName, err := Decompress(path.Join(constant.FolderPrefix, req.FilePath), dest)
  if err != nil {
    fmt.Println(err.Error())
  }

  // check if the file encoding is utf8
  b, err := ioutil.ReadFile(csvName)
  if err != nil {
    fmt.Println(err.Error())
  }
  if !utils.ValidUTF8(b) {
    fmt.Println(errors.New("數據編碼錯誤,請使用utf-8格式csv!"))
  }

  // create goroutine to analysis data into mongodb
  var wg sync.WaitGroup
  wg.Add(1)

  // used to interrupt goroutine
  resultChan := make(chan error)
  // used to record wrong row in csv
  lW := make(chan []LineWrong)
  go func(ctx *gin.Context, Name, csvPath, dir, folder string) {
    defer wg.Done()
    tidT, ciT, lwT, err := importCsv(ctx, Name, csvPath, dir, folder)
    resultChan <- err
    if err != nil {
      fmt.Println(err.Error())
    }
    lW <- lwT
    if len(lwT) == 0 {
      importClassData(ctx, tidT, ciT)
    }
  }(ctx, req.Name, csvName, dest, folder)

  err = <-resultChan
  lineWrong := <-lW
  close(lW)
  ···
}

// pre-analysis data in csv and through wrong data with line numbers and information
func importCsv()(){
  ···
}

// analysis data again and save data into mongodb, if is there any error,through them same as import()
func importClassData()(){
  ···
  conn, err := connect()
  if err != nil {
    return err
  }
  defer conn.Close()
  conn.Do("hset", taskId, "task_id", (curLine*100)/totalLines)
  ···
}

將錯誤信息以channel接收,使用 package "sync" 的 sync.WaitGroup 控制異步協程。在入庫的過程中,將當前的進度存入redis。

查詢進度接口

func QueryImport()(){
  conn, err := connect()
  if err != nil {
    return nil, err
  }
  defer conn.Close()

  progress, _ := conn.Do("hget", key, field)
  if pro, ok := progress.([]uint8); ok {
    ba := []byte{}
    for _, b := range pro {
      ba = append(ba, byte(b))
    }
    progress,_ = strconv.Atoi(string(ba))
  }
  return progress
}

從redis中取出來的數據是[]uint8類型數據,先斷言,然后轉類型返回。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關文章

  • Go語言按字節截取字符串的方法

    Go語言按字節截取字符串的方法

    這篇文章主要介紹了Go語言按字節截取字符串的方法,涉及Go語言操作字符串的技巧,非常具有實用價值,需要的朋友可以參考下
    2015-02-02
  • GO語言基本類型分析

    GO語言基本類型分析

    這篇文章主要介紹了GO語言基本類型,較為詳細的分析了整形、浮點型、字符串、指針等類型的具體用法,是深入學習GO語言所必須掌握的重要基礎,需要的朋友可以參考下
    2014-12-12
  • golang基于websocket實現的簡易聊天室程序

    golang基于websocket實現的簡易聊天室程序

    這篇文章主要介紹了golang基于websocket實現的簡易聊天室,分析了websocket的下載、安裝及使用實現聊天室功能的相關技巧,需要的朋友可以參考下
    2016-07-07
  • Go語言開發中redis的使用詳解

    Go語言開發中redis的使用詳解

    這篇文章主要介紹了Go語言開發中redis的使用詳解,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-07-07
  • Go語言排序與接口實例分析

    Go語言排序與接口實例分析

    這篇文章主要介紹了Go語言排序與接口,實例分析了排序與接口的使用技巧,具有一定參考借鑒價值,需要的朋友可以參考下
    2015-02-02
  • Go并發編程實踐

    Go并發編程實踐

    并發編程一直是Golang區別與其他語言的很大優勢,也是實際工作場景中經常遇到的。近日筆者在組內分享了我們常見的并發場景,及代碼示例,以期望大家能在遇到相同場景下,能快速的想到解決方案,或者是拿這些方案與自己實現的比較,取長補短。現整理出來與大家共享
    2017-01-01
  • 淺談GoLang幾種讀文件方式的比較

    淺談GoLang幾種讀文件方式的比較

    這篇文章主要介紹了淺談GoLang幾種讀文件方式的比較,一般來說常用的有三種。使用Read加上buffer,使用bufio庫和ioutil 庫,非常具有實用價值,需要的朋友可以參考下
    2019-01-01
  • Go實現比較時間大小

    Go實現比較時間大小

    這篇文章主要介紹了Go實現比較時間大小的方法和示例,非常的簡單實用,有需要的小伙伴可以參考下。
    2015-04-04
  • 在Go中創建隨機的安全密碼

    在Go中創建隨機的安全密碼

    今天小編就為大家分享一篇關于在Go中創建隨機的安全密碼,小編覺得內容挺不錯的,現在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2018-10-10
  • Golang 中整數轉字符串的方法

    Golang 中整數轉字符串的方法

    這篇文章主要介紹了Golang 中整數轉字符串的方法,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-06-06

最新評論

福建体育彩票时时彩11