脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - 浅谈GoLang几种读文件方式的比较

浅谈GoLang几种读文件方式的比较

2020-05-22 09:32david_je Golang

这篇文章主要介绍了浅谈GoLang几种读文件方式的比较,一般来说常用的有三种。使用Read加上buffer,使用bufio库和ioutil 库,非常具有实用价值,需要的朋友可以参考下

GoLang提供了很多读文件的方式,一般来说常用的有三种。使用Read加上buffer,使用bufio库和ioutil 库。

那他们的效率如何呢?用一个简单的程序来评测一下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
package main
 
import(
  "fmt"
  "os"
  "flag"
  "io"
  "io/ioutil"
  "bufio"
  "time"
)
 
func read1(path string)string{
  fi,err := os.Open(path)
  if err != nil{
    panic(err)
  }
  defer fi.Close()
 
  chunks := make([]byte,1024,1024)
  buf := make([]byte,1024)
  for{
    n,err := fi.Read(buf)
    if err != nil && err != io.EOF{panic(err)}
    if 0 ==n {break}
    chunks=append(chunks,buf[:n]...)
    // fmt.Println(string(buf[:n]))
  }
  return string(chunks)
}
 
func read2(path string)string{
  fi,err := os.Open(path)
  if err != nil{panic(err)}
  defer fi.Close()
  r := bufio.NewReader(fi)
   
  chunks := make([]byte,1024,1024)
    
  buf := make([]byte,1024)
  for{
    n,err := r.Read(buf)
    if err != nil && err != io.EOF{panic(err)}
    if 0 ==n {break}
    chunks=append(chunks,buf[:n]...)
    // fmt.Println(string(buf[:n]))
  }
  return string(chunks)
}
 
func read3(path string)string{
  fi,err := os.Open(path)
  if err != nil{panic(err)}
  defer fi.Close()
  fd,err := ioutil.ReadAll(fi)
  // fmt.Println(string(fd))
  return string(fd)
}
 
func main(){
   
  flag.Parse()
  file := flag.Arg(0)
  f,err := ioutil.ReadFile(file)
  if err != nil{
    fmt.Printf("%s\n",err)
    panic(err)
  }
  fmt.Println(string(f))
  start := time.Now()
  read1(file)
  t1 := time.Now()
  fmt.Printf("Cost time %v\n",t1.Sub(start))
  read2(file)
  t2 := time.Now()
  fmt.Printf("Cost time %v\n",t2.Sub(t1))
  read3(file)
  t3 := time.Now()
  fmt.Printf("Cost time %v\n",t3.Sub(t2))
 
}

运行命令go run read.go filename, 制定需要读取的文件就可以了。这里我比较了读取13.7MB的日志文件,三种方式分别消耗的时间是:

?
1
2
3
Cost time 105.006ms
Cost time 68.0039ms
Cost time 31.0018ms

读取29.3MB的媒体文件:

?
1
2
3
Cost time 390.0223ms
Cost time 194.0111ms
Cost time 83.0048ms

读取302MB的媒体文件

?
1
2
3
Cost time 40.8043338s
Cost time 1m5.0407201s
Cost time 8.8155043s

这个差距就很明显了,ioutil提供的方法效率就是高。有空可以再从代码层面再去分析一下。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:https://david-je.iteye.com/blog/1988940

延伸 · 阅读

精彩推荐
  • GolangGolang通脉之数据类型详情

    Golang通脉之数据类型详情

    这篇文章主要介绍了Golang通脉之数据类型,在编程语言中标识符就是定义的具有某种意义的词,比如变量名、常量名、函数名等等,Go语言中标识符允许由...

    4272021-11-24
  • Golanggolang json.Marshal 特殊html字符被转义的解决方法

    golang json.Marshal 特殊html字符被转义的解决方法

    今天小编就为大家分享一篇golang json.Marshal 特殊html字符被转义的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    李浩的life12792020-05-27
  • Golanggolang的httpserver优雅重启方法详解

    golang的httpserver优雅重启方法详解

    这篇文章主要给大家介绍了关于golang的httpserver优雅重启的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,...

    helight2992020-05-14
  • Golanggolang如何使用struct的tag属性的详细介绍

    golang如何使用struct的tag属性的详细介绍

    这篇文章主要介绍了golang如何使用struct的tag属性的详细介绍,从例子说起,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看...

    Go语言中文网11352020-05-21
  • GolangGolang中Bit数组的实现方式

    Golang中Bit数组的实现方式

    这篇文章主要介绍了Golang中Bit数组的实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    天易独尊11682021-06-09
  • Golanggolang 通过ssh代理连接mysql的操作

    golang 通过ssh代理连接mysql的操作

    这篇文章主要介绍了golang 通过ssh代理连接mysql的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    a165861639710342021-03-08
  • Golanggo日志系统logrus显示文件和行号的操作

    go日志系统logrus显示文件和行号的操作

    这篇文章主要介绍了go日志系统logrus显示文件和行号的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    SmallQinYan12302021-02-02
  • Golanggo语言制作端口扫描器

    go语言制作端口扫描器

    本文给大家分享的是使用go语言编写的TCP端口扫描器,可以选择IP范围,扫描的端口,以及多线程,有需要的小伙伴可以参考下。 ...

    脚本之家3642020-04-25