golang开发缓存组件

代码地址github:cache

花了一天时间看了下实验楼的cache组件,使用golang编写的,收获还是蛮多的,缓存组件的设计其实挺简单的,主要思路或者设计点如下:

  • 全局struct对象:用来做缓存(基于该struct实现增删改查基本操作)
  • 定时gc功能(其实就是定时删除struct对象中过期的缓存对):刚好用上golang的ticker外加channel控制实现
  • 支持缓存写文件及从文件读缓存:其实就是将这里的key-value数据通过gob模块进行一次编解码操作
  • 并发读写:上锁(golang支持读写锁,一般使用时在被操作的struct对象里面声明相应的锁,即sync.RWMutex,操作之前先上锁,之后解锁即可)

其实大概就是这么多,下面来分解下:

1、cache组件

要保存数据到缓存(即内存中),先要设计数据结构,cache一般都有过期时间,抽象的struct如下:

type Item struct {
	Object     interface{} //数据项
	Expiration int64       //数据项过期时间(0永不过期)
}

type Cache struct {
	defaultExpiration time.Duration //如果数据项没有指定过期时使用
	items             map[string]Item
	mu                sync.RWMutex  //读写锁
	gcInterval        time.Duration //gc周期
	stopGc            chan bool     //停止gc管道标识
}

其中,Cache struct为全局缓存对象,缓存的key-value类型为Item,其中包含Object类型、Expiration类型,Object类型设计为interface{}就是为了可以缓存任意数据。

2、过期处理

下面是判断item中的某项是否过期:

func (item Item) IsExpired() bool {
	if item.Expiration == 0 {
		return false
	}
	return time.Now().UnixNano() > item.Expiration //如果当前时间超则过期
}

3、定时gc

想要实现定时功能,要用到golang的time包,使用NewTicker声明一个ticker类型,再使用for循环读取ticker.C数据,循环一次则取一次数据,进行一次DeleteExpired操作,Cache中的stopGc用于结束ticker,这样整个gcLoop()便会停止,使用select监听通道数据分别处理如下:

//循环gc
func (c *Cache) gcLoop() {
	ticker := time.NewTicker(c.gcInterval) //初始化一个定时器
	for {
		select {
		case <-ticker.C:
			c.DeleteExpired()
		case <-c.stopGc:
			ticker.Stop()
			return
		}
	}
}

4、缓存写文件及从文件读缓存

这里要使用到golang自带gob包,gob主要用于诸如远程调用等过程的参数编解码,相比json传输而言,大数据量下效率明显占优。gob的使用一般流程是:声明一个Encoder/Decoder、然后调用Encode/Decode方法直接进行编解码,这里Decode方法一定要传指针类型,Encode方法比较任意,指针or值类型都可以,gob支持的数据类型有限,struct、slice、map这些都支持,channel和func类型不支持。编解码双方要保持“数据一致性”,比如一个struct,双方相同的的字段其类型必须一致,缺失的字段将会直接被忽略,这里还要注意字段小写是不会被gob处理的,另外还要注意一点:gob操作的数据类型包含interface{}时,必须对interface{}所表示的实际类型进行一次register方可,以下是编解码的一个应用:

//将缓存数据写入io.Writer中
func (c *Cache) Save(w io.Writer) (err error) {
	enc := gob.NewEncoder(w)
	defer func() {
		if x := recover(); x != nil {
			err = fmt.Errorf("Error Registering item types with gob library")
		}
	}()
	c.mu.RLock()
	defer c.mu.RUnlock()
	for _, v := range c.items {
		gob.Register(v.Object)
	}
	err = enc.Encode(&c.items)
	return
}
//从io.Reader读取
func (c *Cache) Load(r io.Reader) error {
	dec := gob.NewDecoder(r)
	items := make(map[string]Item, 0)
	err := dec.Decode(&items)
	if err != nil {
		return err
	}
	c.mu.Lock()
	defer c.mu.Unlock()
	for k, v := range items {
		obj, ok := c.items[k]
		if !ok || obj.IsExpired() {
			c.items[k] = v
		}
	}
	return nil
}

5、测试

其实整体实现就是对Cache struct的crud操作,就不多记录了,测试下:

package main

import (
	"cache"
	"fmt"
	"time"
)

func main() {
	defaultExpiration, _ := time.ParseDuration("0.5h")
	gcInterval, _ := time.ParseDuration("3s")
	c := cache.NewCache(defaultExpiration, gcInterval)

	expiration, _ := time.ParseDuration("2s")
	k1 := "hello world!"
	c.Set("k1", k1, expiration)

	if v, found := c.Get("k1"); found {
		fmt.Println("found k1:", v)
	} else {
		fmt.Println("not found k1")
	}

	err := c.SaveToFile("./items.txt")
	if err != nil {
		fmt.Println(err)
	}
	err = c.LoadFromFile("./items.txt")
	if err != nil {
		fmt.Println(err)
	}

	s, _ := time.ParseDuration("4s")
	time.Sleep(s)
	if v, found := c.Get("k1"); found {
		fmt.Println("found k1:", v)
	} else {
		fmt.Println("not found k1")
	}

}

输出结果如下:

这里对k1设置2s的过期时间,time.Sleep等待4s之后再去获取缓存的k1数据,这时已经为空。

至此,over。。。详细代码点最顶端源码查看吧。。。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

go rpc 源码分析

go 源码中带了rpc框架,以相对精简的当时方式实现了rpc功能,目前源码中的rpc官方已经宣布不再添加新功能,并推荐使用grpc. 作为go标准库中rpc框架...

1124
来自专栏技术小黑屋

记一场 Android 技术答疑

之前在Stuq的Android课程中有幸分享了一些关于优化的问题,后期又处理了一些来自网友的问题,这里简单以文字形式做个整理.

702
来自专栏大内老A

WCF技术剖析之一:通过一个ASP.NET程序模拟WCF基础架构

细算起来,已经有好几个月没有真正的写过文章了。近半年以来,一直忙于我的第一本WCF专著《WCF技术剖析》的写作,一直无暇管理自己的Blog。到目前为止《WCF技...

2207
来自专栏wOw的Android小站

[Android]相册列表加载过程性能优化

在手机中有多个存有图片的文件夹,在recent界面清掉所有的应用,点击进入图库,切换到相册列表。发现要过几秒钟才能从空白页面开始显示文件夹。同时会引起另一问题,...

571
来自专栏Linux驱动

19.QT-事件发送函数sendEvent()、postEvent()

803
来自专栏IT技术精选文摘

Nginx模块之Upstream解析

Nginx模块一般被分成三大类:handler、filter和upstream。前面的文章系列中,读者已经了解了handler、filter。利用这两类模块,可...

1996
来自专栏大内老A

WCF技术剖析之二十五: 元数据(Metadata)架构体系全景展现[WS标准篇]

元数据实际上是服务终结点的描述,终结点由地址(Address)、绑定(Binding)和契约(Contract)经典的ABC三要素组成。认真阅读过《WCF技术剖...

3069
来自专栏腾讯Bugly的专栏

Android中导致内存泄漏的竟然是它----Dialog

一. 内存泄漏的 Bug 猛增 最近在 App 进行 mokey 测试的时候检测到一些内存泄漏问题。在前天的测试中,楼主一瞬间收到了4个这样的 Bug 单,瞬...

4117
来自专栏pangguoming

C# 事件(Event)

事件(Event) 基本上说是一个用户操作,如按键、点击、鼠标移动等等,或者是一些出现,如系统生成的通知。应用程序需要在事件发生时响应事件。例如,中断。事件是用...

3575
来自专栏大内老A

通过“四大行为”对WCF的扩展[原理篇]

整个WCF框架由两个基本的层次构成,即服务模型层和信道层。对信道层的扩展主要通过针对绑定的扩展实现,具体来说就是自定义绑定元素,以及相关的信道管理器(信道监听器...

1847

扫码关注云+社区