golang程序性能提升改进篇之文件的读写---第一篇

背景：接手的项目是golang开发的（本人初次接触golang）经常出现oom。这个程序是计算和io密集型，调用流量属于明显有波峰波谷，但是因为各种原因，当前无法快速通过serverless或者动态在高峰时段调整资源，低峰释放资源的方式进行解决，因此只能通过分析内存和cpu消耗热点，然后改动代码，进而解决服务的稳定性和性能问题。

思路：
通过搜索了解golang程序如何进行性能分析，当时就是使用pprof了，通过分析发现了程序有一些使用内存较多的地方，例如我们读取大量文件，通过分析发现io.ioutil.ReadAll消耗内存较多，通过查询发现io.copy可以减少一些内存消耗。

同时也在网上发现其他开源项目与我们遇到的情况类似。 https://github.com/elastic/beats/issues/36151是某个开源软件中将ioutil.ReadAll 更新为io.Copy的讨论，里面也有他们的对比测试 。

性能对比测试：

在本机上写了一段代码，ioutil.ReadAll和io.Copy的go benchmarktest结果如下

代码比较简单 main.go

package main

import (
	"bytes"
	"fmt"
	"io"
	"io/ioutil"
	"net/http"
	"time"
)

func fetchWithReadAll(url string) ([]byte, time.Duration, error) {
	// 发起HTTP GET请求
	resp, err := http.Get(url)
	if err != nil {
		return nil, 0, err
	}
	defer resp.Body.Close()

	// 使用 io.ReadAll 读取响应内容
	start := time.Now()
	data, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return nil, 0, err
	}
	duration := time.Since(start)
	return data, duration, nil
}

func fetchWithCopy(url string) ([]byte, time.Duration, error) {
	// 发起HTTP GET请求
	resp, err := http.Get(url)
	if err != nil {
		return nil, 0, err
	}
	defer resp.Body.Close()

	// 使用 io.Copy 读取响应内容
	start := time.Now()
	var buffer bytes.Buffer
	_, err = io.Copy(&buffer, resp.Body)
	if err != nil {
		return nil, 0, err
	}
	duration := time.Since(start)
	return buffer.Bytes(), duration, nil
}

func main() {
    //  此url能下载一个大约1-2mb的文本文件
	url := "http://x.y.z/abc.txt"

	// 测试 ioutil.ReadAll
	dataReadAll, durationReadAll, err := fetchWithReadAll(url)
	if err != nil {
		fmt.Printf("Error fetching with ReadAll: %v\n", err)
		return
	}
	fmt.Printf("ReadAll took %v for %d bytes\n", durationReadAll, len(dataReadAll))

	// 测试 io.Copy
	dataCopy, durationCopy, err := fetchWithCopy(url)
	if err != nil {
		fmt.Printf("Error fetching with Copy: %v\n", err)
		return
	}
	fmt.Printf("Copy took %v for %d bytes\n", durationCopy, len(dataCopy))
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

main_test.go

package main

import (
	"testing"
)

// 假设我们已有 fetchWithReadAll 和 fetchWithCopy 函数定义

// BenchmarkFetchWithReadAll 为 fetchWithReadAll 函数编写基准测试。
func BenchmarkFetchWithReadAll(b *testing.B) {
	//  此url能下载一个大约1-2mb的文本文件
	url := "http://x.y.z/abc.txt
	b.ReportAllocs()
	for i := 0; i < b.N; i++ {
		_, _, err := fetchWithReadAll(url)
		if err != nil {
			b.Error(err)
		}
	}
}

// BenchmarkFetchWithCopy 为 fetchWithCopy 函数编写基准测试。
func BenchmarkFetchWithCopy(b *testing.B) {
	//  此url能下载一个大约1-2mb的文本文件
	url := "http://x.y.z/abc.txt"
	b.ReportAllocs()
	for i := 0; i < b.N; i++ {
		_, _, err := fetchWithCopy(url)
		if err != nil {
			b.Error(err)
		}
	}
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

最后执行
···
go test -bench=.

···