专栏首页golang小白成长记Go语言的IO库那么多,我该怎么选?

Go语言的IO库那么多,我该怎么选?

在计算机和信息技术领域里I/O这个术语表示输入 / 输出 ( 英语:Input / Output ) ,通常指数据在存储器(内部和外部)或其他周边设备之间的输入和输出,是信息处理系统与外部之间的通信。输入是系统接收的信号或数据,输出则是从其发送的信号或数据。

在Go语言中涉及I/O操作的内置库有很多种,比如:io库,os库,ioutil库,bufio库,bytes库,strings库等等。拥有这么多内置库是好事,但是具体到涉及I/O的场景我们应该选择哪个库呢?

io.Reader/Writer

Go语言里使用io.Readerio.Writer两个 interface 来抽象I/O,他们的定义如下。

type Reader interface {
 Read(p []byte) (n int, err error)
}

type Writer interface {
 Write(p []byte) (n int, err error)
}

io.Reader 接口代表一个可以从中读取字节流的实体,而io.Writer则代表一个可以向其写入字节流的实体。

io.Reader/Writer 常用的几种实现

  • net.Conn: 表示网络连接。
  • os.Stdin, os.Stdout, os.Stderr: 标准输入、输出和错误。
  • os.File: 网络,标准输入输出,文件的流读取。
  • strings.Reader: 字符串抽象成 io.Reader 的实现。
  • bytes.Reader: []byte抽象成 io.Reader 的实现。
  • bytes.Buffer: []byte抽象成 io.Reader 和 io.Writer 的实现。
  • bufio.Reader/Writer: 带缓冲的流读取和写入(比如按行读写)。

除了这几种实现外常用的还有ioutil工具库包含了很多IO工具函数,编码相关的内置库encoding/base64encoding/binary等也是通过 io.Reader 和 io.Writer 实现各自的编码功能的。

这些常用实现和工具库与io.Reader和io.Writer间的关系可以用下图表示。

每种I/O库的使用场景

io库

io库属于底层接口定义库。它的作用主要是定义个I/O的基本接口和个基本常量,并解释这些接口的功能。在实际编写代码做I/O操作时,这个库一般只用来调用它的常量和接口定义,比如用io.EOF判断是否已经读取完,用io.Reader做变量的类型声明。

// 字节流读取完后,会返回io.EOF这个error
for {
 n, err := r.Read(buf)
 fmt.Println(n, err, buf[:n])
 if err == io.EOF {
  break
 }
}

os 库

os库主要是处理操作系统操作的,它作为Go程序和操作系统交互的桥梁。创建文件、打开或者关闭文件、Socket等等这些操作和都是和操作系统挂钩的,所以都通过os库来执行。这个库经常和ioutilbufio等配合使用

ioutil库

ioutil库是一个有工具包,它提供了很多实用的 IO 工具函数,例如 ReadAll、ReadFile、WriteFile、ReadDir。唯一需要注意的是它们都是一次性读取和一次性写入,所以使用时,尤其是把数据从文件里一次性读到内存中时需要注意文件的大小。

读出文件中的所有内容

func readByFile() {
  data, err := ioutil.ReadFile( "./file/test.txt")
  if err != nil {
    log.Fatal("err:", err)
    return
  }
  fmt.Println("data", string(data)) 
}

将数据一次性写入文件

func writeFile() {
  err := ioutil.WriteFile("./file/write_test.txt", []byte("hello world!"), 0644)
  if err != nil {
    panic(err)
    return
  }
}

bufio库

bufio,可以理解为在io库的基础上额外封装加了一个缓存层,它提供了很多按行进行读写的函数,从io库的按字节读写变为按行读写对写代码来说还是方便了不少。

func readBigFile(filePath string) error {
  f, err := os.Open(filePath)
  defer f.Close()

  if err != nil {
    log.Fatal(err)
    return err
  }

  buf := bufio.NewReader(f)
  count := 0
  // 循环中打印前100行内容
  for {
    count += 1
    line, err := buf.ReadString('\n')
    line = strings.TrimSpace(line)
    if err != nil {
      return err
    }
    fmt.Println("line", line)

    if count > 100 {
      break
    }
  }
  return nil
}
  • ReadLine和ReadString方法:buf.ReadLine(),buf.ReadString("\n")都是按行读,只不过ReadLine读出来的是[]byte,后者直接读出了string,最终他们底层调用的都是ReadSlice方法。
  • bufio VS ioutil 库:bufio 和 ioutil 库都提供了读写文件的能力。它们之间唯一的区别是 bufio 有一个额外的缓存层。这个优势主要体现在读取大文件的时候。

bytes 和 strings 库

bytes 和 strings 库里的 bytes.Reader 和string.Reader,它们都实现了io.Reader接口,也都提供了NewReader方法用来从[]byte或者string类型的变量直接构建出相应的Reader实现。

r := strings.NewReader("abcde")
// 或者是 bytes.NewReader([]byte("abcde"))
buf := make([]byte, 4)
for {
 n, err := r.Read(buf)
 fmt.Println(n, err, buf[:n])
 if err == io.EOF {
  break
 }
}

另一个区别是 bytes 库有Buffer的功能,而 strings 库则没有。

var buf bytes.Buffer
fmt.Fprintf(&buf, "Size: %d MB.", 85)
s := buf.String()) // s == "Size: 85 MB."

总结

关于io.Readerio.Writer接口,可以简单理解为读源和写源。也就是说,只要实现了Reader中的Read方法,这个东西就可以作为读源,里面可以包含数据,被我们读取。Writer也是如此。

以上是我对Go语言里做I/O操作时经常会用到的Go语言内置库在使用场景和每个库要解决的问题上的一些总结,希望能帮大家理清思路,作为参考,在开发任务中需要时正确选择合适的库完成I/O操作。如果文章中的叙述有错误,欢迎留言指正,也欢迎在留言中对文章内容进行探讨和提出建议。

推荐阅读:

本文分享自微信公众号 - golang小白成长记(golangxbczj)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-06-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 这么多的编程语言为何选择Go

    在你阅读以下内容时,我不得不告诉你一个事实,编程语言Go正在成为一颗冉冉升起的新星,为什么这样说,出身于Google,它是名门出身,它的作者可以说称得上是神级一...

    陌无崖
  • 史上最全!27种神经网络简明图解:模型那么多,我该怎么选?

    大数据文摘
  • 干货 | 快速融入云原生,携程开源 Dubbo for Go 版本

    何鑫铭,携程基础中台研发部技术专家,dubbo-go 主要作者。目前专注于 Golang & Java、中台架构、中间件与区块链等技术。

    携程技术
  • Java 并不是构建微服务平台的最佳选择

    微服务当下非常流行,即使在传统的 IT 企业中也是如此。然而通常情况下微服务使用诸如 Java 之类的语言来实现,而这些语言诞生于 90 年代初,并且专为开发单...

    深度学习与Python
  • Go语言基础以及环境配置

    乐说科技
  • 服务端 I/O 性能大比拼:Node、PHP、Java、Go哪家强?

    理解应用程序的输入/输出(I/O)模型,意味着其在计划处理负载与残酷的实际使用场景之间的差异。若应用程序比较小,也没有服务于很高的负载,也许它影响甚微。但随着应...

    Java技术栈
  • go语言数值类型及布尔类型

    常量声明常量是程序在编译时就确定的值,程序在执行时不能修改常量的值。声明常量使用关键字const。在声明常量时,需要对常量赋值。const 名称 类型 = 值 ...

    暮雨
  • ​go语言数值类型及布尔类型

    常量是程序在编译时就确定的值,程序在执行时不能修改常量的值。声明常量使用关键字const。在声明常量时,需要对常量赋值。

    暮雨
  • Go语言相关练习_选择题(2)

    go语言中字符串是UTF-8编码并存储的,它语言不定长的字节,所以它不支持下标操作,因为没一个下标操作代表的是固定长度的字节,所以不能对字符串中某个字符单独赋值...

    Zoctopus
  • 服务端 I/O 性能大比拼:Node、PHP、Java 和 Go

    理解应用程序的输入/输出(I/O)模型,意味着其在计划处理负载与残酷的实际使用场景之间的差异。若应用程序比较小,也没有服务于很高的负载,也许它影响甚微。但随着应...

    哲洛不闹
  • 一个好的技术团队应该怎么选择开发语言

    在过去的三年时间了,作为曾经的研发部经理,我和我的技术总监始终在为一件事而努力着,那就是选择一门合适我们团队的技术语言。 我们研发团队一共有9个人,分为三个小组...

    Java中文社群-磊哥
  • 一个好的技术团队应该怎么选择开发语言

    Java中文社群-磊哥
  • Golang 之协程详解

      对于 进程、线程,都是有内核进行调度,有 CPU 时间片的概念,进行 抢占式调度(有多种调度算法)

    李海彬
  • 谈谈Android屏幕适配的那些事,我们到底该怎么去选择

    每个Android程序员都会遇见一个棘手的问题,那就是手机适配。因为现在出现了许多分辨率的手机,所以我们必须得考虑到各种分辨率的手机适配,这对于程序员来说是一个...

    Android技术干货分享
  • 12306抢票带来的启示:看我如何用Go实现百万QPS的秒杀系统(含源码)

    Go语言的出现,让开发高性能、高稳定性服务端系统变的容易,与高贵冷艳的Erlang语言不同的是,Go语言简单易学,在高性能服务端架构中的应用越来越广泛。

    JackJiang
  • golang面试

    Michel_Rolle
  • 【深度知识】Rust语言入门、关键技术与实战经验

    编者按:高可用架构分享及传播在架构领域具有典型意义的文章,本文由唐刘在高可用架构群分享。转载请注明来自高可用架构公众号「 ArchNotes 」。

    辉哥
  • 如何使用 Go 语言写游戏服务器?

    之前先后用Erlang,nodejs做过tcp,http的游戏服务器。接触了golang一两个月(纯新手),想在最近的tcp网游项目中使用,但又担心以下问题: ...

    李海彬
  • 如何使用 Go 语言写游戏服务器?

    之前先后用Erlang,nodejs做过tcp,http的游戏服务器。接触了golang一两个月(纯新手),想在最近的tcp网游项目中使用,但又担心以下问题: ...

    李海彬

扫码关注云+社区

领取腾讯云代金券