想法是：

給定一個(gè)大型虛擬 CSV（100 萬行）包含客戶資料樣本，並依照以下目標(biāo)處理：

• 從 CSV 擷取資料
• 計(jì)算有多少資料/行
• 將每個(gè)城市的客戶數(shù)量分組
• 依顧客數(shù)量由高到低對(duì)城市進(jìn)行排序
• 計(jì)算處理時(shí)間

客戶的 CSV 範(fàn)例可以在此處下載 https://github.com/datablist/sample-csv-files

載入和提取數(shù)據(jù)

顯然 Go 有用於 CSV 處理的標(biāo)準(zhǔn)函式庫。我們不再需要第三方依賴來解決我們的問題，這很好。所以解決方案非常簡單：

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

1. 從給定路徑開啟檔案
2. 將開啟的檔案載入到 csv 閱讀器
3. 將所有提取的 csv 記錄/行值保存到記錄切片中以供以後處理

FieldsPerRecord 設(shè)定為 -1，因?yàn)槲蚁胩^對(duì)行的欄位檢查，因?yàn)槊糠N格式的欄位或列數(shù)可能不同

在此狀態(tài)下，我們已經(jīng)能夠從 csv 載入和提取所有數(shù)據(jù)，並準(zhǔn)備好進(jìn)入下一個(gè)處理狀態(tài)。我們也可以使用函數(shù) len(records) 來知道 CSV 中有多少行。

將總客戶分組到每個(gè)城市

現(xiàn)在我們可以迭代記錄並建立包含城市名稱和總客戶的地圖，如下所示：

["Jakarta": 10, "Bandung": 200, ...]

csv 行中的城市資料位於第 7 個(gè)索引，程式碼如下所示

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

如果城市地圖不存在，則建立新地圖並將客戶總數(shù)設(shè)為1。否則只需增加給定城市的總數(shù)。

現(xiàn)在我們的地圖 m 包含城市的集合以及其中有多少客戶。至此我們已經(jīng)解決了每個(gè)城市有多少客戶的分組問題。

對(duì)總客戶數(shù)進(jìn)行排序

我試圖找到標(biāo)準(zhǔn)庫中是否有任何函數(shù)可以對(duì)地圖進(jìn)行排序，但不幸的是我找不到它。排序僅適用於切片，因?yàn)槲覀兛梢愿鶕?jù)索引位置重新排列資料順序。所以，是的，讓我們從目前的地圖中切出一個(gè)切片。

// convert to slice first for sorting purposes
dc := []CityDistribution{}
for k, v := range m {
  dc = append(dc, CityDistribution{City: k, CustomerCount: v})
}

現(xiàn)在我們要如何按 CustomerCount 從最高到最低排序？最常見的演算法是使用氣泡空頭。雖然它不是最快的，但它可以完成這項(xiàng)工作。

冒泡排序是最簡單的排序演算法，如果相鄰元素的順序錯(cuò)誤，它的工作原理是重複交換相鄰元素。該演算法不適合大型資料集，因?yàn)槠淦骄妥顗那闆r時(shí)間複雜度相當(dāng)高。

參考：https://www.geeksforgeeks.org/bubble-sort-algorithm/

使用我們的切片，它將循環(huán)資料並檢查索引的下一個(gè)值，如果當(dāng)前資料小於下一個(gè)索引，則交換它。詳細(xì)演算法可以在參考網(wǎng)站查看。

現(xiàn)在我們的排序過程可能是這樣的

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

循環(huán)結(jié)束時(shí)，最後的切片將為我們提供排序後的資料。

計(jì)算處理時(shí)間

計(jì)算處理時(shí)間非常簡單，我們?nèi)〉脠?zhí)行程式主進(jìn)程之前和之後的時(shí)間戳記併計(jì)算差值。在 Go 中，方法應(yīng)該夠簡單：

["Jakarta": 10, "Bandung": 200, ...]

結(jié)果

使用指令運(yùn)行程式

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

列印出來的是行數(shù)、排序資料和處理時(shí)間。像下面這樣：

正如 Go 效能所預(yù)期的那樣，它在 1 秒內(nèi)處理了 100 萬行 csv！

所有已完成的程式碼已發(fā)佈在我的 Github 儲(chǔ)存庫上：

https://github.com/didikz/csv-processing/tree/main/golang

經(jīng)驗(yàn)教訓(xùn)

• Go 中的 CSV 處理已經(jīng)在標(biāo)準(zhǔn)庫中可用，無需使用第 3 方庫
• 處理資料非常簡單。面臨的挑戰(zhàn)是找出如何對(duì)資料進(jìn)行排序，因?yàn)樾枰謩?dòng)進(jìn)行

想到什麼？

我認(rèn)為我目前的解決方案可能可以進(jìn)一步優(yōu)化，因?yàn)槲已h(huán)提取了csv 的所有記錄來映射，如果我們檢查ReadAll() 來源，它還有循環(huán)來根據(jù)給定的檔案讀取器建立切片。這樣，1 百萬行可以為 1 百萬資料產(chǎn)生 2 個(gè)循環(huán)，這不太好。

我想如果我可以直接從檔案讀取器讀取數(shù)據(jù)，它只需要 1 個(gè)循環(huán)，因?yàn)槲铱梢灾苯訌闹薪⒌貓D。除了記錄切片將在其他地方使用，但在本例中不使用。

我還沒有時(shí)間弄清楚，但我也認(rèn)為如果我手動(dòng)完成會(huì)有一些缺點(diǎn)：

• 可能需要處理更多解析過程中的錯(cuò)誤
• 我不確定它會(huì)減少多少處理時(shí)間來考慮解決方法是否值得

編碼快樂！

以上是使用 Go 處理大型 CSV的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！