GO语言常用的文件读取方式

本文实例讲述了GO语言常用的文件读取方式。分享给大家供大家参考。具体分析如下:

Golang 的文件读取方法很多,刚上手时不知道怎么选择,所以贴在此处便后速查。

一次性读取

小文件推荐一次性读取,这样程序更简单,而且速度最快。

func ReadAll(filePth string) ([]byte, error) {
 f, err := os.Open(filePth)
 if err != nil {
  return nil, err
 }
 return ioutil.ReadAll(f)
}

还有更加简单的方法,我经常使用ioutil.ReadFile(filePth)
分块读取
可在速度和内存占用之间取得很好的平衡。

复制代码代码如下:
package main
import (
 "bufio"
 "io"
 "os"
)
func processBlock(line []byte) {
 os.Stdout.Write(line)
}
func ReadBlock(filePth string, bufSize int, hookfn func([]byte)) error {
 f, err := os.Open(filePth)
 if err != nil {
  return err
 }
 defer f.Close()
 buf := make([]byte, bufSize) //一次读取多少个字节
 bfRd := bufio.NewReader(f)
 for {
  n, err := bfRd.Read(buf)
  hookfn(buf[:n]) // n 是成功读取字节数
  if err != nil { //遇到任何错误立即返回,并忽略 EOF 错误信息
   if err == io.EOF {
    return nil
   }
   return err
  }
 }
 return nil
}
func main() {
 ReadBlock("test.txt", 10000, processBlock)
}
逐行读取
逐行读取有的时候真的很方便,性能可能慢一些,但是仅占用极少的内存空间。

复制代码代码如下:
package main
import (
 "bufio"
 "io"
 "os"
)
func processLine(line []byte) {
 os.Stdout.Write(line)
}
func ReadLine(filePth string, hookfn func([]byte)) error {
 f, err := os.Open(filePth)
 if err != nil {
  return err
 }
 defer f.Close()
 bfRd := bufio.NewReader(f)
 for {
  line, err := bfRd.ReadBytes('\n')
  hookfn(line) //放在错误处理前面,即使发生错误,也会处理已经读取到的数据。
  if err != nil { //遇到任何错误立即返回,并忽略 EOF 错误信息
   if err == io.EOF {
    return nil
   }
   return err
  }
 }
 return nil
}
func main() {
 ReadLine("test.txt", processLine)
}

原文发布于微信公众号 - Golang语言社区(Golangweb)

原文发表时间:2016-08-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DOTNET

学会WCF之试错法——数据传输

服务契约 [ServiceContract] public interface IService { [OperationCon...

3156
来自专栏数据结构与算法

1777:文件结构“图”

1777:文件结构“图” 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 在计算机上看到文件系统的结构通常很有用。Micr...

36510
来自专栏逸鹏说道

MVC5 Entity Framework学习之异步和存储过程

在之前的文章中,你已经学习了如何使用同步编程模型来读取和更新数据,在本节中你将学习如何实现异步编程模型。异步可以使应用程序执行更有效率,因为它可以更有效的使用服...

3739
来自专栏深度学习之tensorflow实战篇

pymongo.errors:Sort operation used more than the maximum 33554432 bytes of RAM. Add an index,

在 mongo 使用过程中遇到了一个问题,需求就是要对mongo 库中查询到数据进行分页,mongo库我们知道都会存储大容量的数据,刚开始使用的 skip 和 ...

4216
来自专栏跟着阿笨一起玩NET

url传递中文的解决方案

本文转载:http://www.cnblogs.com/ghd258/archive/2005/10/23/260241.html

2252
来自专栏Android知识点总结

安卓中对于文件夹的综合操作

1022
来自专栏别先生

基于jsp+servlet图书管理系统之后台用户信息修改操作

上一篇的博客写的是查询操作,且附有源码和数据库,这篇博客写的是修改操作,附有从头至尾写的代码(详细的注释)和数据库!  此次修改操作的源码和数据库:http:...

45110
来自专栏软件开发

MyBatis学习总结(一)——ORM概要与MyBatis快速入门

程序员应该将核心关注点放在业务上,而不应该将时间过多的浪费在CRUD中,多数的ORM框架都把增加、修改与删除做得非常不错了,然后数据库中查询无疑是使用频次最高、...

1623
来自专栏Rgc

python更新数据库脚本两种方法

最近项目的两次版本迭代中,根据业务需求的变化,需要对数据库进行更新,两次分别使用了不同的方式进行更新。 第一种:使用python的MySQLdb模块利用原生的s...

3997
来自专栏用户2442861的专栏

mongodb操作(概述以及相关的命令)

http://blog.csdn.net/ljfbest/article/details/11979609

892

扫码关注云+社区