Golang中读写CSV文件的全面指南_golang csv

CSV（逗号分隔值）文件是一种常见的数据存储格式，广泛应用于数据导入、导出、分析和交换等场景。在Golang中，有许多库和工具可以帮助我们读取和写入CSV文件，使数据处理变得简单而高效。本文将深入探讨如何在Golang中使用标准库以及第三方库来读写CSV文件。

一、Golang标准库的CSV处理

Golang的标准库encoding/csv包提供了一组功能强大而灵活的API，用于读取和写入CSV文件。我们可以通过下面的步骤来使用标准库处理CSV文件：

1. 导入encoding/csv包：首先，我们需要在代码中导入encoding/csv包，通过import "encoding/csv"语句实现。

2. 创建CSV Reader：使用标准库中的csv.NewReader()函数创建一个CSV Reader对象。我们需要传递一个io.Reader对象作为参数，该对象通常是一个文件。

file, err := os.Open("data.csv")
if err != nil {
    fmt.Println("打开文件失败:", err)
    return
}
defer file.Close()

reader := csv.NewReader(file)
1
2
3
4
5
6
7
8

在上述代码中，我们使用os.Open()函数打开一个名为data.csv的文件，并将其传递给csv.NewReader()函数创建一个CSV Reader对象。注意，我们需要在读取文件后记得关闭文件，以防止资源泄露。

3. 读取CSV记录：通过CSV Reader对象的Read()方法来迭代读取CSV文件中的记录。每次调用Read()方法，它会返回一个记录以及可能出现的错误。

for {
    record, err := reader.Read()
    if err == io.EOF {
        break
    }
    if err != nil {
        fmt.Println("读取记录失败:", err)
        return
    }
    // 处理记录
}
1
2
3
4
5
6
7
8
9
10
11

在上述代码中，我们使用一个无限循环来持续读取CSV记录，直到遇到文件结束（EOF）为止。每次调用Read()方法，它会返回一个字符串切片，其中每个元素都是CSV记录的一个字段。最后，我们可以在循环中对记录进行处理，如打印、解析等。

4. 写入CSV记录：如果我们想将数据写入CSV文件，则需要创建一个CSV Writer对象，并使用其Write()方法写入记录。

file, err := os.Create("output.csv")
if err != nil {
    fmt.Println("创建文件失败:", err)
    return
}
defer file.Close()

writer := csv.NewWriter(file)
defer writer.Flush()

record := []string{"Alice", "21", "F"}
err = writer.Write(record)
if err != nil {
    fmt.Println("写入记录失败:", err)
    return
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

在上述代码中，我们使用os.Create()函数创建一个名为output.csv的文件，并将其传递给csv.NewWriter()函数创建一个CSV Writer对象。类似于读取CSV文件时，我们需要在写入结束时关闭文件和刷新缓冲区，以确保数据被正确写入。

二、使用第三方库处理CSV文件

除了标准库之外，还有许多第三方库可以在Golang中处理CSV文件。这些库通常提供更多功能和灵活性，使CSV文件的处理更加高效和方便。下面介绍两个受欢迎的第三方库：

1. Gocarina/gocsv

Gocarina/gocsv是一个功能强大的CSV处理库，提供了读取、写入和转换CSV文件的能力。它具有以下特点：

• 支持高级功能：包括自定义类型映射、标记解析、选择性解析等。
• 具有更好的性能：相对于标准库，Gocarina/gocsv提供了更好的性能和效率。
• 简单易用：提供了一组简洁明了的API，使CSV文件的处理变得简单易用。

要使用Gocarina/gocsv库，您需要按照以下步骤进行设置：

1. 安装Gocarina/gocsv库：在终端中执行以下命令安装Gocarina/gocsv库。

   go get github.com/Gocarina/gocsv
   1

2. 导入所需的包：在代码中导入github.com/Gocarina/gocsv和其他所需的包。

   import (
       "github.com/Gocarina/gocsv"
       "os"
   )
   1
   2
   3
   4

3. 创建结构体：使用结构体定义CSV文件中的记录结构。

   type Person struct {
       Name   string `csv:"name"`
       Age    int    `csv:"age"`
       Gender string `csv:"gender"`
   }
   1
   2
   3
   4
   5

   在上面的示例中，我们定义了一个名为Person的结构体，其中的字段使用csv标签指定了他们在CSV文件中对应的列名。

4. 读取CSV文件：使用gocsv.UnmarshalFile函数从CSV文件中读取记录。

   file, err := os.OpenFile("data.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
   if err != nil {
       fmt.Println("打开文件失败:", err)
       return
   }
   defer file.Close()
   
   var people []*Person
   if err := gocsv.UnmarshalFile(file, &people); err != nil {
       fmt.Println("读取文件失败:", err)
       return
   }
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12

   在上述代码中，我们使用os.OpenFile函数打开一个名为data.csv的文件，并将其传递给gocsv.UnmarshalFile函数来读取CSV记录。通过传递一个指向记录切片的指针，我们可以将文件中的记录存储在people变量中。

5. 写入CSV文件：使用gocsv.MarshalFile函数将记录写入CSV文件。

   file, err := os.OpenFile("output.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
   if err != nil {
       fmt.Println("创建文件失败:", err)
       return
   }
   defer file.Close()
   
   people := []*Person{
       {Name: "Alice", Age: 21, Gender: "F"},
       {Name: "Bob", Age: 25, Gender: "M"},
   }
   if err := gocsv.MarshalFile(&people, file); err != nil {
       fmt.Println("写入文件失败:", err)
       return
   }
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15

   在上述代码中，我们使用os.OpenFile函数创建一个名为output.csv的文件，并将其传递给gocsv.MarshalFile函数来写入CSV记录。通过传递一个记录切片的指针，我们可以将记录写入文件中。

Gocarina/gocsv还提供了其他一些方便的功能，例如选择性解析、自定义类型映射、标记解析等，使CSV文件的处理更加灵活和便捷。

2. GoCSV

GoCSV是另一个流行的CSV处理库，提供了丰富的功能和灵活性。它具有以下特点：

• 支持读取和写入CSV文件：GoCSV提供了直观且易于使用的API来读取和写入CSV文件。
• 提供行级别的操作：可以对每行数据进行操作，例如过滤、更新、删除等。
• 支持自定义解析器和写入器：允许您创建自定义的解析器和写入器，以符合特定的需求。

要使用GoCSV库，您需要按照以下步骤进行设置：

1. 安装GoCSV库：在终端中执行以下命令安装GoCSV库。

   go get github.com/gocarina/gocsv
   1

2. 导入所需的包：在代码中导入github.com/gocarina/gocsv和其他所需的包。

   import (
       "github.com/gocarina/gocsv"
       "os"
   )
   1
   2
   3
   4

3. 创建结构体：使用结构体定义CSV文件中的记录结构。

   type Person struct {
       Name   string `csv:"name"`
       Age    int    `csv:"age"`
       Gender string `csv:"gender"`
   }
   1
   2
   3
   4
   5

   在上面的示例中，我们定义了一个名为Person的结构体，其中的字段使用csv标签指定了他们在CSV文件中对应的列名。

4. 读取CSV文件：使用gocsv.UnmarshalFile函数从CSV文件中读取记录。

   file, err := os.OpenFile("data.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
   if err != nil {
       fmt.Println("打开文件失败:", err)
       return
   }
   defer file.Close()
   
   var people []*Person
   if err := gocsv.UnmarshalFile(file, &people); err != nil {
       fmt.Println("读取文件失败:", err)
       return
   }
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12

   在上述代码中，我们使用os.OpenFile函数打开一个名为data.csv的文件，并将其传递给gocsv.UnmarshalFile函数来读取CSV记录。通过传递一个指向记录切片的指针，我们可以将文件中的记录存储在people变量中。

5. 写入CSV文件：使用gocsv.MarshalFile函数将记录写入CSV文件。

   file, err := os.OpenFile("output.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
   if err != nil {
       fmt.Println("创建文件失败:", err)
       return
   }
   defer file.Close()
   
   people := []*Person{
       {Name: "Alice", Age: 21, Gender: "F"},
       {Name: "Bob", Age: 25, Gender: "M"},
   }
   if err := gocsv.MarshalFile(&people, file); err != nil {
       fmt.Println("写入文件失败:", err)
       return
   }
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15

   在上述代码中，我们使用os.OpenFile函数创建一个名为output.csv的文件，并将其传递给gocsv.MarshalFile函数来写入CSV记录。通过传递一个记录切片的指针，我们可以将记录写入文件中。

GoCSV还提供了其他一些方便的功能，如行级操作、自定义解析器和写入器等，使CSV文件的处理更加灵活和强大。

案例

下面我将给您提供 3 个使用 Gocarina/gocsv 库和 GoCSV 库处理 CSV 文件的案例。

案例1：读取和打印 CSV 文件中的记录

下面是一个使用 Gocarina/gocsv 库读取 data.csv 文件，并打印出每一条记录的示例：

package main

import (
    "encoding/csv"
    "fmt"
    "os"

    "github.com/Gocarina/gocsv"
)

type Person struct {
    Name   string `csv:"name"`
    Age    int    `csv:"age"`
    Gender string `csv:"gender"`
}

func main() {
    file, err := os.OpenFile("data.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close()

    var people []*Person
    if err := gocsv.UnmarshalFile(file, &people); err != nil {
        fmt.Println("读取文件失败:", err)
        return
    }

    for _, p := range people {
        fmt.Println("Name:", p.Name)
        fmt.Println("Age:", p.Age)
        fmt.Println("Gender:", p.Gender)
        fmt.Println("--------")
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

案例2：将结构体切片写入 CSV 文件

下面是一个使用 Gocarina/gocsv 库将结构体切片写入 output.csv 文件的示例：

package main

import (
    "encoding/csv"
    "fmt"
    "os"

    "github.com/Gocarina/gocsv"
)

type Person struct {
    Name   string `csv:"name"`
    Age    int    `csv:"age"`
    Gender string `csv:"gender"`
}

func main() {
    file, err := os.OpenFile("output.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
    if err != nil {
        fmt.Println("创建文件失败:", err)
        return
    }
    defer file.Close()

    people := []*Person{
        {Name: "Alice", Age: 21, Gender: "F"},
        {Name: "Bob", Age: 25, Gender: "M"},
    }
    if err := gocsv.MarshalFile(&people, file); err != nil {
        fmt.Println("写入文件失败:", err)
        return
    }
    fmt.Println("写入成功！")
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

案例3：使用 GoCSV 库进行行级操作

下面是一个使用 GoCSV 库进行行级操作的示例，将具有特定条件的记录写入 filtered.csv 文件中：

package main

import (
    "encoding/csv"
    "fmt"
    "os"

    "github.com/gocarina/gocsv"
)

type Person struct {
    Name   string `csv:"name"`
    Age    int    `csv:"age"`
    Gender string `csv:"gender"`
}

func main() {
    file, err := os.OpenFile("data.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close()

    var people []*Person
    if err := gocsv.UnmarshalFile(file, &people); err != nil {
        fmt.Println("读取文件失败:", err)
        return
    }

    filteredPeople := make([]*Person, 0)
    for _, p := range people {
        if p.Age >= 18 && p.Gender == "F" {
            filteredPeople = append(filteredPeople, p)
        }
    }

    filteredFile, err := os.OpenFile("filtered.csv", os.O_RDWR|os.O_CREATE, os.ModePerm)
    if err != nil {
        fmt.Println("创建文件失败:", err)
        return
    }
    defer filteredFile.Close()

    if err := gocsv.MarshalFile(&filteredPeople, filteredFile); err != nil {
        fmt.Println("写入文件失败:", err)
        return
    }
    fmt.Println("写入成功！")
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

这些案例涵盖了使用 Gocarina/gocsv 库和 GoCSV 库进行 CSV 文件处理的常见场景。您可以根据自己的需求进行相应的调整和修改。希望对您有所帮助！

三、总结

CSV文件是一种常见的数据存储格式，在许多场景下被广泛使用。在Golang中，我们可以使用标准库以及一些第三方库来读取和写入CSV文件。标准库encoding/csv提供了简单而高效的API来处理CSV文件，而第三方库如Gocarina/gocsv和GoCSV提供了更多的功能和灵活性，使CSV文件的处理更加便捷和强大。

无论选择使用哪个库，重要的是根据需要选择最合适的工具来处理CSV文件。这将根据项目的要求、性能需求以及个人或团队的偏好来决定。以上介绍的是Golang中常用的CSV处理方法，希望对您有所帮助。