Go语言异步下载视频_golang 实现异步文件下载

作者：寸_铁 | 2024-08-08 21:58:56

踩

golang 实现异步文件下载

异步下载mp4视频列表

下面是一个简单的Go语言示例，用于异步下载视频。我们将使用goroutines来实现异步下载，并使用sync.WaitGroup来等待所有下载任务完成。此示例依赖于net/http包来执行HTTP请求。

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
	"sync"
)

func main() {
	videoURLs := []string{
		"http://example.com/video1.mp4",
        "http://example.com/video2.mp4",
        "http://example.com/video3.mp4",
	}

	var wg sync.WaitGroup
	for _, url := range videoURLs {
		wg.Add(1)
		go func(url string) {
			defer wg.Done()
			err := downloadVideo(url)
			if err != nil {
				fmt.Printf("Error downloading video from %s: %v\n", url, err)
			} else {
				fmt.Printf("Successfully downloaded video from %s\n", url)
			}
		}(url)
	}
	wg.Wait()
}

func downloadVideo(url string) error {
	resp, err := http.Get(url)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	filename := getFilenameFromURL(url)
	file, err := os.Create(filename)
	if err != nil {
		return err
	}
	defer file.Close()

	_, err = io.Copy(file, resp.Body)
	return err
}

func getFilenameFromURL(url string) string {
	return url[strings.LastIndex(url, "/")+1:]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

这个代码示例将从videoURLs列表中异步下载视频。downloadVideo函数处理视频下载，而getFilenameFromURL函数根据视频URL生成文件名。这个例子使用了简化的错误处理，实际应用中您可能需要根据需求进行相应的错误处理。

下载m3u8视频

要使用Go语言下载M3U8视频，您需要解析M3U8文件，下载其中的.ts片段并将它们合并为一个完整的视频文件。下面是一个简单的示例，演示如何执行此操作。本示例使用了github.com/grafov/m3u8包来解析M3U8文件。您需要先安装此包：

go get -u github.com/grafov/m3u8
1

然后，您可以使用以下代码下载M3U8视频：

package main

import (
    "fmt"
    "io"
    "net/http"
    "os"
    "strings"

    "github.com/grafov/m3u8"
)

func main() {
    m3u8URL := "http://example.com/path/to/video.m3u8"
    videoFilename := "output_video.ts"

    err := downloadM3U8Video(m3u8URL, videoFilename)
    if err != nil {
        fmt.Printf("Error downloading m3u8 video: %v\n", err)
    } else {
        fmt.Printf("Successfully downloaded m3u8 video to %s\n", videoFilename)
    }
}

func downloadM3U8Video(m3u8URL, videoFilename string) error {
    resp, err := http.Get(m3u8URL)
    if err != nil {
        return err
    }
    defer resp.Body.Close()

    playlist, _, err := m3u8.DecodeFrom(resp.Body, true)
    if err != nil {
        return err
    }

    masterPls, ok := playlist.(*m3u8.MasterPlaylist)
    if !ok {
        return fmt.Errorf("invalid m3u8 file")
    }

    var mediaPls *m3u8.MediaPlaylist
    for _, variant := range masterPls.Variants {
        resp, err = http.Get(variant.URI)
        if err != nil {
            continue
        }
        defer resp.Body.Close()

        mediaPls, _, err = m3u8.DecodeFrom(resp.Body, true)
        if err == nil {
            break
        }
    }

    if mediaPls == nil {
        return fmt.Errorf("unable to download any media playlist")
    }

    videoFile, err := os.Create(videoFilename)
    if err != nil {
        return err
    }
    defer videoFile.Close()

    for _, segment := range mediaPls.Segments {
        if segment == nil {
            continue
        }

        tsURL := segment.URI
        if !strings.HasPrefix(tsURL, "http") {
            tsURL = getBaseURL(m3u8URL) + tsURL
        }

        err := downloadAndAppendTS(videoFile, tsURL)
        if err != nil {
            return err
        }
    }

    return nil
}

func downloadAndAppendTS(videoFile *os.File, tsURL string) error {
    resp, err := http.Get(tsURL)
    if err != nil {
        return err
    }
    defer resp.Body.Close()

    _, err = io.Copy(videoFile, resp.Body)
    return err
}

func getBaseURL(url string) string {
    lastIndex := strings.LastIndex(url, "/")
    return url[:lastIndex+1]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99

此代码首先下载并解析M3U8主播放列表，然后选择一个媒体播放列表（在这个示例中，我们选择了第一个可用的媒体播放列表）。接下来，它遍历媒体播放列表中的所有.ts片段，下载它

们并将它们追加到输出视频文件中。downloadAndAppendTS函数用于下载.ts片段并将其追加到输出视频文件。getBaseURL函数用于从M3U8 URL中获取基本URL，以便处理相对URL。

请注意，此示例代码可能无法处理所有类型的M3U8文件，例如加密的文件或具有不同编码设置的文件。根据您的实际需求，您可能需要对此代码进行修改和优化。

此外，在处理大型视频文件时，请注意磁盘空间和网络带宽。由于下载过程涉及多个.ts文件，可能会消耗大量的网络带宽和磁盘空间。在实际生产环境中部署此类解决方案时，请确保您的应用具有适当的错误处理和资源管理功能。

异步下载m3u8视频

要使用Go语言异步下载M3U8视频，您可以结合使用goroutines和sync.WaitGroup。在下面的示例中，我们将异步下载媒体播放列表中的每个.ts片段，并在所有片段下载完成后合并它们：

```go
package main

import (
    "fmt"
    "io"
    "io/ioutil"
    "net/http"
    "os"
    "strings"
    "sync"

    "github.com/grafov/m3u8"
)

func main() {
    m3u8URL := "http://example.com/path/to/video.m3u8"
    videoFilename := "output_video.ts"

    err := downloadM3U8Video(m3u8URL, videoFilename)
    if err != nil {
        fmt.Printf("Error downloading m3u8 video: %v\n", err)
    } else {
        fmt.Printf("Successfully downloaded m3u8 video to %s\n", videoFilename)
    }
}

func downloadM3U8Video(m3u8URL, videoFilename string) error {
    resp, err := http.Get(m3u8URL)
    if err != nil {
        return err
    }
    defer resp.Body.Close()

    playlist, _, err := m3u8.DecodeFrom(resp.Body, true)
    if err != nil {
        return err
    }

    masterPls, ok := playlist.(*m3u8.MasterPlaylist)
    if !ok {
        return fmt.Errorf("invalid m3u8 file")
    }

    var mediaPls *m3u8.MediaPlaylist
    for _, variant := range masterPls.Variants {
        resp, err = http.Get(variant.URI)
        if err != nil {
            continue
        }
        defer resp.Body.Close()

        mediaPls, _, err = m3u8.DecodeFrom(resp.Body, true)
        if err == nil {
            break
        }
    }

    if mediaPls == nil {
        return fmt.Errorf("unable to download any media playlist")
    }

    segmentCount := len(mediaPls.Segments)
    tempFiles := make([]*os.File, segmentCount)
    var wg sync.WaitGroup

    for i, segment := range mediaPls.Segments {
        if segment == nil {
            continue
        }

        wg.Add(1)
        go func(index int, seg *m3u8.MediaSegment) {
            defer wg.Done()

            tsURL := seg.URI
            if !strings.HasPrefix(tsURL, "http") {
                tsURL = getBaseURL(m3u8URL) + tsURL
            }

            tmpFile, err := ioutil.TempFile("", "ts-segment-*.ts")
            if err != nil {
                fmt.Printf("Error creating temp file: %v\n", err)
                return
            }
            defer tmpFile.Close()

            err = downloadTS(tmpFile, tsURL)
            if err != nil {
                fmt.Printf("Error downloading ts segment from %s: %v\n", tsURL, err)
                return
            }

            tempFiles[index] = tmpFile
        }(i, segment)
    }

    wg.Wait()

    videoFile, err := os.Create(videoFilename)
    if err != nil {
        return err
    }
    defer videoFile.Close()

    for _, tmpFile := range tempFiles {
        if tmpFile == nil {
            continue
        }

        tmpFile.Seek(0, 0)
        _, err = io.Copy(videoFile, tmpFile)
        if err != nil {
            return err
        }

        os.Remove(tmpFile.Name())
    }

    return nil
}

func downloadTS(tmpFile *

os.File, tsURL string) error { resp, err := http.Get(tsURL) if err != nil { return err } defer resp.Body.Close()

_, err = io.Copy(tmpFile, resp.Body)
return err

}

func getBaseURL(url string) string { lastIndex := strings.LastIndex(url, "/") return url[:lastIndex+1] }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134

在这个示例中，我们修改了downloadM3U8Video函数，使其使用goroutines和sync.WaitGroup异步下载媒体播放列表中的.ts片段。我们为每个.ts片段创建一个临时文件，并在所有片段都下载完成后将它们合并到输出视频文件中。

注意，这个示例代码可能无法处理所有类型的M3U8文件，例如加密的文件或具有不同编码设置的文件。您可能需要根据实际需求对代码进行修改和优化。

在处理大型视频文件时，请注意磁盘空间和网络带宽。由于下载过程涉及多个.ts文件，可能会消耗大量的网络带宽和磁盘空间。在实际生产环境中部署此类解决方案时，请确保您的应用具有适当的错误处理和资源管理功能。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/950075