专栏首页GoUpUpGo 每日一库之 nutsdb

Go 每日一库之 nutsdb

简介

nutsdb是一个完全由 Go 编写的简单、快速、可嵌入的持久化存储。nutsdb与我们之前介绍过的buntdb有些类似,但是支持ListSetSorted Set这些数据结构。

快速使用

先安装:

$ go get github.com/xujiajun/nutsdb

后使用:

package main

import (
  "fmt"
  "log"

  "github.com/xujiajun/nutsdb"
)

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, err := nutsdb.Open(opt)
  if err != nil {
    log.Fatal(err)
  }
  defer db.Close()

  err = db.Update(func(tx *nutsdb.Tx) error {
    key := []byte("name")
    val := []byte("dj")
    if err := tx.Put("", key, val, 0); err != nil {
      return err
    }
    return nil
  })
  if err != nil {
    log.Fatal(err)
  }

  err = db.View(func(tx *nutsdb.Tx) error {
    key := []byte("name")
    if e, err := tx.Get("", key); err != nil {
      return err
    } else {
      fmt.Println(string(e.Value))
    }
    return nil
  })
  if err != nil {
    log.Fatal(err)
  }
}

看过前面介绍buntdb文章的小伙伴会发现,nutsdb的简单使用与buntdb非常相似。首先打开数据库nutsdb.Open(),通过选项指定数据库文件存放目录。数据的插入、修改和查找都是包装在一个事务方法中执行的。nutsdb允许同时存在多个读事务。但是有写事务存在时,其他事务不能并发执行。需要修改数据的操作在db.Update()的回调中执行,无副作用的操作在db.View()的回调中执行。上面代码先插入一个键值对,然后读取这个键。

从代码我们可以看出,由于涉及数据库操作,需要大量的错误处理。为了简洁起见,本文后面的代码省略了错误处理,在实际使用中必须加上!

特性

**桶(bucket)**有点像命名空间的概念。在同一个桶中的键不能重复,不同的桶可以包含相同的键。nutsdb提供的更新和查询接口都需要传入桶名,只是我们在最开始的例子中将桶名设置为空字符串了。

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  key := []byte("name")
  val := []byte("dj")

  db.Update(func(tx *nutsdb.Tx) error {
    tx.Put("bucket1", key, val, 0)
    return nil
  })

  db.Update(func(tx *nutsdb.Tx) error {
    tx.Put("bucket2", key, val, 0)
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    e, _ := tx.Get("bucket1", key)
    fmt.Println("val1:", string(e.Value))

    e, _ = tx.Get("bucket2", key)
    fmt.Println("val2:", string(e.Value))
    return nil
  })
}

运行:

val1: dj
val2: dj

我们可以将桶类比于 redis 中的 db 的概念,redis 可以在不同的 db 中存储相同的键,但是同一个 db 的键是唯一的。通过 redis 客户端连接服务器后,使用命令select db切换不同的 db。

更新和删除

上面我们看到使用tx.Put()插入字段,其实tx.Put()也用来更新(如果键已存在)。tx.Delete()用来删除一个字段。

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  key := []byte("name")
  val := []byte("dj")
  db.Update(func(tx *nutsdb.Tx) error {
    tx.Put("", key, val, 0)
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    e, _ := tx.Get("", key)
    fmt.Println(string(e.Value))
    return nil
  })

  db.Update(func(tx *nutsdb.Tx) error {
    tx.Delete("", key)
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    e, err := tx.Get("", key)
    if err != nil {
      log.Fatal(err)
    } else {
      fmt.Println(string(e.Value))
    }
    return nil
  })
}

删除后再次Get(),返回err

dj
2020/04/27 22:28:19 key not found in the bucket
exit status 1

过期

nutsdb支持在插入或更新键值对时设置一个过期时间。Put()的第四个参数即为过期时间,单位 s。传 0 表示不过期:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  key := []byte("name")
  val := []byte("dj")
  db.Update(func(tx *nutsdb.Tx) error {
    tx.Put("", key, val, 10)
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    e, _ := tx.Get("", key)
    fmt.Println(string(e.Value))
    return nil
  })

  time.Sleep(10 * time.Second)

  db.View(func(tx *nutsdb.Tx) error {
    e, err := tx.Get("", key)
    if err != nil {
      log.Fatal(err)
    } else {
      fmt.Println(string(e.Value))
    }
    return nil
  })
}

插入一个数据,设置过期时间为 10s。等待 10s 之后返回err

dj
2020/04/27 22:31:16 key not found in the bucket
exit status 1

遍历

nutsdb的每个桶中,键是以字节顺序保存的。这使得顺序遍历异常迅速。

前缀遍历

我们可以使用PrefixScan()遍历具有特定前缀的键值对。它可以指定从第几个数据开始,返回多少条满足条件的数据。例如,每个玩家在nutsdb中保存在**user_ + 玩家id**的键中:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  bucket := "user_list"
  prefix := "user_"
  db.Update(func(tx *nutsdb.Tx) error {
    for i := 1; i <= 300; i++ {
      key := []byte(prefix + strconv.FormatInt(int64(i), 10))
      val := []byte("dj" + strconv.FormatInt(int64(i), 10))
      tx.Put(bucket, key, val, 0)
    }
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    entries, _, _ := tx.PrefixScan(bucket, []byte(prefix), 25, 100)
    for _, entry := range entries {
      fmt.Println(string(entry.Key), string(entry.Value))
    }
    return nil
  })
}

先插入 300 条数据,然后使用PrefixScan()从第 25 条数据开始,一共返回 100 条数据。需要注意的是,键是以字节顺序排列,所以user_21user_209之后。观察输出:

...
user_208 dj208
user_209 dj209
user_21 dj21
user_210 dj210

范围遍历

可以使用tx.RangeScan()只返回键在指定范围内的数据:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  bucket := "user_list"
  prefix := "user_"
  db.Update(func(tx *nutsdb.Tx) error {
    for i := 1; i <= 300; i++ {
      key := []byte(prefix + strconv.FormatInt(int64(i), 10))
      val := []byte("dj" + strconv.FormatInt(int64(i), 10))
      tx.Put(bucket, key, val, 0)
    }
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    lbound := []byte("user_100")
    ubound := []byte("user_199")
    entries, _ := tx.RangeScan(bucket, lbound, ubound)
    for _, entry := range entries {
      fmt.Println(string(entry.Key), string(entry.Value))
    }
    return nil
  })
}

获取全部

调用tx.GetAll()返回某个桶中所有的数据:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  bucket := "user_list"
  prefix := "user_"
  db.Update(func(tx *nutsdb.Tx) error {
    for i := 1; i <= 300; i++ {
      key := []byte(prefix + strconv.FormatInt(int64(i), 10))
      val := []byte("dj" + strconv.FormatInt(int64(i), 10))
      tx.Put(bucket, key, val, 0)
    }
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    entries, _ := tx.GetAll(bucket)
    for _, entry := range entries {
      fmt.Println(string(entry.Key), string(entry.Value))
    }
    return nil
  })
}

数据结构

相比其他数据库,nutsdb比较强大的地方在于它支持多种数据结构:list/set/sorted set。命令主要仿造redis命令编写。这三种结构的操作与redis中对应的命令非常相似,本文简单介绍一下list相关方法,set/sorted set可自行探索。

nutsdb中支持的list方法如下:

  • LPush:从头部插入一个元素;
  • RPush:从尾部插入一个元素;
  • LPop:从头部删除一个元素;
  • RPop:从尾部删除一个元素;
  • LPeek:返回头部第一个元素;
  • RPeek:返回尾部第一个元素;
  • LRange:返回指定索引范围内的元素;
  • LRem:删除指定数量的值等于特定值的项;
  • LSet:设置某个索引的值;
  • Ltrim:只保留指定索引范围内的元素,其它都移除;
  • LSize:返回list长度。

下面简单演示一下如何使用这些方法,每一步的操作结果都以注释写在了命令下方:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)
  defer db.Close()

  bucket := "list"
  key := []byte("userList")

  db.Update(func(tx *nutsdb.Tx) error {
    // 从头部依次插入多个值,注意顺序
    tx.LPush(bucket, key, []byte("user1"), []byte("user3"), []byte("user5"))
    // 当前list:user5, user3, user1

    // 从尾部依次插入多个值
    tx.RPush(bucket, key, []byte("user7"), []byte("user9"), []byte("user11"))
    // 当前list:user5, user3, user1, user7, user9, user11
    return nil
  })

  db.Update(func(tx *nutsdb.Tx) error {
    // 从头部删除一个值
    tx.LPop(bucket, key)
    // 当前list:user3, user1, user7, user9, user11

    // 从尾部删除一个值
    tx.RPop(bucket, key)
    // 当前list:user3, user1, user7, user9

    // 从头部删除两个值
    tx.LRem(bucket, key, 2)
    // 当前list:user7, user9
    return nil
  })

  db.View(func(tx *nutsdb.Tx) error {
    // 头部第一个值,user7
    b, _ := tx.LPeek(bucket, key)
    fmt.Println(string(b))

    // 长度
    l, _ := tx.LSize(bucket, key)
    fmt.Println(l)
    return nil
  })
}

注意不要在同一个Update中执行插入和删除

数据库备份

nutsdb可以很方便地进行数据库备份,只需要调用db.Backup(),传入备份存放目录即可:

func main() {
  opt := nutsdb.DefaultOptions
  opt.Dir = "./nutsdb"
  db, _ := nutsdb.Open(opt)

  key := []byte("name")
  val := []byte("dj")
  db.Update(func(tx *nutsdb.Tx) error {
    tx.Put("", key, val, 0)
    return nil
  })

  db.Backup("./backup")
  db.Close()

  opt.Dir = "./backup"
  backupDB, _ := nutsdb.Open(opt)
  backupDB.View(func(tx *nutsdb.Tx) error {
    e, _ := tx.Get("", key)
    fmt.Println(string(e.Value))
    return nil
  })
}

上面先备份,再从备份中加载数据库,读取键。

总结

大家如果发现好玩、好用的 Go 语言库,欢迎到 Go 每日一库 GitHub 上提交 issue?

参考

  1. nutsdb GitHub:https://github.com/xujiajun/nutsdb
  2. Go 每日一库 GitHub:https://github.com/darjun/go-daily-lib

本文分享自微信公众号 - GoUpUp(GoUp-Up),作者:dj

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Go 每日一库之 buntdb

    buntdb是一个完全用 Go 语言编写的内存键值数据库。它支持 ACID、并发读、自定义索引和空间信息数据。buntdb只用一个源码文件就实现了这些功能,对于...

    用户7731323
  • Go 每日一库之 quicktemplate

    最近在整理我们项目代码的时候,发现有很多活动的代码在结构和提供的功能上都非常相似。为了方便今后的开发,我花了一点时间编写了一个生成代码框架的工具,最大程度地降低...

    用户7731323
  • Go 每日一库之 fyne

    Go 语言生态中,GUI 一直是短板,更别说跨平台的 GUI 了。fyne向前迈了一大步。fyne 是 Go 语言编写的跨平台的 UI 库,它可以很方便地移植到...

    用户7731323
  • java开发_mysql中获取数据库表描述_源码下载

    我们需要获取表:test_table表的描述信息,然后把描述信息插入到表:data_element_config中记录结果

    Hongten
  • GitHub万星NLP资源大升级:实现Pytorch和TF深度互操作,集成32个最新预训练模型

    刚刚, 抱抱脸(Hugging Face)团队,放出了transformers 2.0版本。

    代码医生工作室
  • Android so库的热更新问题

    本来想写资源的热修复的,虽然方案差不多已经完成了,但是考虑到一些敏感问题,资源修复就不写了。那就来写写so的热修复,其原理和class的修复是一样的,但是so的...

    砸漏
  • GitHub万星NLP资源大升级:实现Pytorch和TF深度互操作,集成32个最新预训练模型

    刚刚, 抱抱脸(Hugging Face)团队,放出了transformers 2.0版本。

    量子位
  • 微服务架构案例(04):中间件集成,公共服务封装

    公共服务,顾名思义就是系统内通用的服务,例如用户身份验证,消息发送,监控预警,网关服务等。

    知了一笑
  • Java文件上传管理器 控制台

    上传文件下载管理器项目技术 JDBC + IO + Socket 实现功能 客户端注册:通过输入用户名,密码,确认密码并且校验完成以后将用户信息储存在数据库中。...

    企鹅号小编
  • Spring Security项目第三方登陆(四)

    楠楠

扫码关注云+社区

领取腾讯云代金券