脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - Go语言的IO库那么多纠结该如何选择

Go语言的IO库那么多纠结该如何选择

2021-08-10 01:14Go语言教程网 Golang

在Go语言中涉及 I/O 操作的内置库有很多种,比如: io 库, os 库, ioutil 库, bufio 库, bytes 库, strings 库等等。拥有这么多内置库是好事,但是具体到涉及 I/O 的场景我们应该选择哪个库呢,带着这个问题一起通过本文学习下吧

在计算机和信息技术领域里 I/O 这个术语表示输入 / 输出 ( 英语:Input / Output ) ,通常指数据在存储器(内部和外部)或其他周边设备之间的输入和输出,是信息处理系统与外部之间的通信。输入是系统接收的信号或数据,输出则是从其发送的信号或数据。

在Go语言中涉及 I/O 操作的内置库有很多种,比如: io 库, os 库, ioutil 库, bufio 库, bytes 库, strings 库等等。拥有这么多内置库是好事,但是具体到涉及 I/O 的场景我们应该选择哪个库呢?

io.Reader/Writer

Go语言里使用 io.Reader 和 io.Writer 两个 interface 来抽象 I/O ,他们的定义如下。

?
1
2
3
4
5
6
7
type Reader interface {
 Read(p []byte) (n int, err error)
}
 
type Writer interface {
 Write(p []byte) (n int, err error)
}

io.Reader 接口代表一个可以从中读取字节流的实体,而 io.Writer 则代表一个可以向其写入字节流的实体。

  • io.Reader/Writer 常用的几种实现
  • net.Conn: 表示网络连接。
  • os.Stdin, os.Stdout, os.Stderr: 标准输入、输出和错误。
  • os.File: 网络,标准输入输出,文件的流读取。
  • strings.Reader: 字符串抽象成 io.Reader 的实现。
  • bytes.Reader: []byte抽象成 io.Reader 的实现。
  • bytes.Buffer: []byte抽象成 io.Reader 和 io.Writer 的实现。
  • bufio.Reader/Writer: 抽带缓冲的流读取和写入(比如按行读写)。

除了这几种实现外常用的还有 ioutil 工具库包含了很多IO工具函数,编码相关的内置库 encoding/base64 、 encoding/binary 等也是通过 io.Reader 和 io.Writer 实现各自的编码功能的。

这些常用实现和工具库与io.Reader和io.Writer间的关系可以用下图表示。

Go语言的IO库那么多纠结该如何选择

每种I/O库的使用场景

io库

io 库属于底层接口定义库。它的作用主要是定义个 I/O 的基本接口和个基本常量,并解释这些接口的功能。在实际编写代码做 I/O 操作时,这个库一般只用来调用它的常量和接口定义,比如用 io.EOF 判断是否已经读取完,用 io.Reader 做变量的类型声明。

?
1
2
3
4
5
6
7
8
// 字节流读取完后,会返回io.EOF这个error
for {
 n, err := r.Read(buf)
 fmt.Println(n, err, buf[:n])
 if err == io.EOF {
  break
 }
}

os 库

os 库主要是处理操作系统操作的,它作为Go程序和操作系统交互的桥梁。创建文件、打开或者关闭文件、Socket等等这些操作和都是和操作系统挂钩的,所以都通过 os 库来执行。这个库经常和 ioutil , bufio 等配合使用

ioutil库

ioutil 库是一个有工具包,它提供了很多使用的 IO 工具函数,例如 ReadAll、ReadFile、WriteFile、ReadDir。唯一需要注意的是它们都是一次性读取和一次性写入,所以使用时,尤其是把数据从文件里一次性读到内存中时需要注意文件的大小。

读出文件中的所有内容

?
1
2
3
4
5
6
7
8
func readByFile() {
  data, err := ioutil.ReadFile( "./file/test.txt")
  if err != nil {
    log.Fatal("err:", err)
    return
  }
  fmt.Println("data", string(data))
}

将数据一次性写入文件

?
1
2
3
4
5
6
7
func writeFile() {
  err := ioutil.WriteFile("./file/write_test.txt", []byte("hello world!"), 0644)
  if err != nil {
    panic(err)
    return
  }
}

bufio库

bufio,可以理解为在 io 库的基础上额外封装加了一个缓存层,它提供了很多按行进行读写的函数,从io库的按字节读写变为按行读写对写代码来说还是方便了不少。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
func readBigFile(filePath string) error {
  f, err := os.Open(filePath)
  defer f.Close()
 
  if err != nil {
    log.Fatal(err)
    return err
  }
 
  buf := bufio.NewReader(f)
  count := 0
  // 循环中打印前100行内容
  for {
    count += 1
    line, err := buf.ReadString('\n')
    line = strings.TrimSpace(line)
    if err != nil {
      return err
    }
    fmt.Println("line", line)
 
    if count > 100 {
      break
    }
  }
  return nil
}
  • ReadLine和ReadString方法:buf.ReadLine(),buf.ReadString("\n")都是按行读,只不过ReadLine读出来的是[]byte,后者直接读出了string,最终他们底层调用的都是ReadSlice方法。
  • bufio VS ioutil 库:bufio VS 和 ioutil 库都提供了读写文件的能力。它们之间唯一的区别是 bufio 有一个额外的缓存层。这个优势主要体现在读取大文件的时候。

bytes 和 strings 库

bytes 和 strings 库里的 bytes.Reader 和string.Reader,它们都实现了 io.Reader 接口,也都提供了NewReader方法用来从 []byte 或者 string 类型的变量直接构建出相应的Reader实现。

?
1
2
3
4
5
6
7
8
9
10
r := strings.NewReader("abcde")
// 或者是 bytes.NewReader([]byte("abcde"))
buf := make([]byte, 4)
for {
 n, err := r.Read(buf)
 fmt.Println(n, err, buf[:n])
 if err == io.EOF {
  break
 }
}

另一个区别是 bytes 库有Buffer的功能,而 strings 库则没有。

?
1
2
3
var buf bytes.Buffer
fmt.Fprintf(&buf, "Size: %d MB.", 85)
s := buf.String()) // s == "Size: 85 MB."

总结

关于 io.Reader 和 io.Writer 接口,可以简单理解为读源和写源。也就是说,只要实现了 Reader 中的 Read 方法,这个东西就可以作为读源,里面可以包含数据,被我们读取。 Writer 也是如此。

以上是我对Go语言里做 I/O 操作时经常会用到的Go语言内置库在使用场景和每个库要解决的问题上的一些总结,希望能帮大家理清思路,作为参考,在开发任务中需要时正确选择合适的库完成 I/O 操作。如果文章中的叙述有错误,欢迎留言指正,也欢迎在留言中对文章内容进行探讨和提出建议。

以上就是Go语言的IO库那么多纠结该如何选择的详细内容,更多关于Go语言IO库的资料请关注服务器之家其它相关文章!

延伸 · 阅读

精彩推荐
  • Golanggolang如何使用struct的tag属性的详细介绍

    golang如何使用struct的tag属性的详细介绍

    这篇文章主要介绍了golang如何使用struct的tag属性的详细介绍,从例子说起,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看...

    Go语言中文网11352020-05-21
  • Golanggolang 通过ssh代理连接mysql的操作

    golang 通过ssh代理连接mysql的操作

    这篇文章主要介绍了golang 通过ssh代理连接mysql的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    a165861639710342021-03-08
  • Golanggo语言制作端口扫描器

    go语言制作端口扫描器

    本文给大家分享的是使用go语言编写的TCP端口扫描器,可以选择IP范围,扫描的端口,以及多线程,有需要的小伙伴可以参考下。 ...

    脚本之家3642020-04-25
  • GolangGolang通脉之数据类型详情

    Golang通脉之数据类型详情

    这篇文章主要介绍了Golang通脉之数据类型,在编程语言中标识符就是定义的具有某种意义的词,比如变量名、常量名、函数名等等,Go语言中标识符允许由...

    4272021-11-24
  • Golanggolang json.Marshal 特殊html字符被转义的解决方法

    golang json.Marshal 特殊html字符被转义的解决方法

    今天小编就为大家分享一篇golang json.Marshal 特殊html字符被转义的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    李浩的life12792020-05-27
  • Golanggolang的httpserver优雅重启方法详解

    golang的httpserver优雅重启方法详解

    这篇文章主要给大家介绍了关于golang的httpserver优雅重启的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,...

    helight2992020-05-14
  • GolangGolang中Bit数组的实现方式

    Golang中Bit数组的实现方式

    这篇文章主要介绍了Golang中Bit数组的实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    天易独尊11682021-06-09
  • Golanggo日志系统logrus显示文件和行号的操作

    go日志系统logrus显示文件和行号的操作

    这篇文章主要介绍了go日志系统logrus显示文件和行号的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    SmallQinYan12302021-02-02