之前使用beego的http库的时候，有的情况需要下载文件。beego是能实现，但就是有点问题:不支持回调，没法显示下载速度,这在日常开发中是不可忍受的。
看了下beego的实现主要是使用了io.copy函数,于是就深入的看了下实现原理，发现挺简单的，于是就根据io.copy原理实现的一个简单的下载器
|
1
2
3
4
5
6
7
|
//定义要下载的文件var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";//解析urluri, err := url.ParseRequestURI(durl)if err != nil { panic("网址错误")} |
正常的一个流程先看看Url有没有错误
|
1
2
|
filename := path.Base(uri.Path)log.Println("[*] Filename " + filename) |
使用path.Base取出url的文件名称，这里有个可能会出现bug的地方:如果这个网址是302跳转过去的话是没法取出跳转过后的文件名称。
取文件名称这步可以再发送http请求的时候 client.CheckRedirect定义一个函数取出文件名次即可。
|
1
2
3
|
client := http.DefaultClient;client.Timeout = time.Second * 60 //设置超时时间resp, err := client.Get(durl) |
创建一个httpClient,另外这个客户端的Timeout是设置读取数据的时候多少时间算超时。
我这里比较推崇用Do方法传递一个Reqeust过去，应为有的url需要校验http头之类的,你问我为啥不用一个字懒。
|
1
2
3
|
raw := resp.Bodydefer raw.Close()reader := bufio.NewReaderSize(raw, 1024*32); |
其实说实话不太清楚bufio能不能真正的加快htpp读取速度，没有做过跟不用bufio的对比。但是为了心理上的安心就加上去了
|
1
2
3
4
5
|
file, err := os.Create(filename)if err != nil { panic(err)}writer := bufio.NewWriter(file) |
同上也不太确定bufio能对文件写入增加多少速度
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
buff := make([]byte, 32*1024)written := 0go func() { for { nr, er := reader.Read(buff) if nr > 0 { nw, ew := writer.Write(buff[0:nr]) if nw > 0 { written += nw } if ew != nil { err = ew break } if nr != nw { err = io.ErrShortWrite break } } if er != nil { if er != io.EOF { err = er } break } } if err != nil { panic(err) }}() |
这个源码是我直接复制io.copyBuffer函数的只是做了一些简单的修改理解大概意思就行
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
//间隔时间spaceTime := time.Second * 1//定时器ticker := time.NewTicker(spaceTime)//上次读取数据大小lastWtn := 0stop := falsefor { select { case <-ticker.C: //这次读取的文件大小-上次读取的数据大小=速度 speed := written - lastWtn log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String()) if written-lastWtn == 0 { ticker.Stop() stop = true break } lastWtn = written } if stop { break }} |
这段代码堵塞住程序，然后定时器按照间隔时间来计算速度。这里可能会出现bug的地方就是在间隔时间内没有读取到数据的时候回直接跳出循环。现在这个时间点非常困，写个blog已经困的要死了以后有空把这个bug解决了吧
|
1
2
3
4
5
6
7
8
9
10
|
func bytesToSize(length int) string { var k = 1024 // or 1024 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"} if length == 0 { return "0 Bytes" } i := math.Floor(math.Log(float64(length)) / math.Log(float64(k))) r := float64(length) / math.Pow(float64(k), i) return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]} |
这个函数是我从我个人的php项目中转换过来的
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s |
这是最终的运行结果，然后我再把全部的源码放在下面就去睡了。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
|
package mainimport ( "net/http" "log" "time" "net/url" "path" "os" "io" "bufio" "math" "strconv")var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";func main() { uri, err := url.ParseRequestURI(durl) if err != nil { panic("网址错误") } filename := path.Base(uri.Path) log.Println("[*] Filename " + filename) client := http.DefaultClient; client.Timeout = time.Second * 60 //设置超时时间 resp, err := client.Get(durl) if err != nil { panic(err) } if resp.ContentLength <= 0 { log.Println("[*] Destination server does not support breakpoint download.") } raw := resp.Body defer raw.Close() reader := bufio.NewReaderSize(raw, 1024*32); file, err := os.Create(filename) if err != nil { panic(err) } writer := bufio.NewWriter(file) buff := make([]byte, 32*1024) written := 0 go func() { for { nr, er := reader.Read(buff) if nr > 0 { nw, ew := writer.Write(buff[0:nr]) if nw > 0 { written += nw } if ew != nil { err = ew break } if nr != nw { err = io.ErrShortWrite break } } if er != nil { if er != io.EOF { err = er } break } } if err != nil { panic(err) } }() spaceTime := time.Second * 1 ticker := time.NewTicker(spaceTime) lastWtn := 0 stop := false for { select { case <-ticker.C: speed := written - lastWtn log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String()) if written-lastWtn == 0 { ticker.Stop() stop = true break } lastWtn = written } if stop { break } }}func bytesToSize(length int) string { var k = 1024 // or 1024 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"} if length == 0 { return "0 Bytes" } i := math.Floor(math.Log(float64(length)) / math.Log(float64(k))) r := float64(length) / math.Pow(float64(k), i) return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]} |
以上这篇Golang 使用http Client下载文件的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/a99361481/article/details/81751231
