【干货】使用Protostuff和Gzip压缩用户标签及模型

使用Protostuff和Gzip压缩用户标签及模型

廖鹏

最近在做算法工程端的时候，发现用户的相关特征比较大，如用户离线特征、实时曝光、实时点击等，如果按照常规方式存入Redis，则是每个用户所消耗的内存大小会是在50K-70K或者甚至更大。所以在想，用什么压缩工具序列化和压缩后存入Redis呢？以前做游戏服务器的时候用过Protobuf，序列化和反序列化性能都很好，所以想到了用Protobuf；压缩工具当时想选LZ4，发现我们的东西不是特别大的那种，所以用JDK自带的解压缩性能就能满足，故有了现在的这篇文章。

正文

1

Protobuf是什么？

Protobuf是Google 的一种数据交换的格式，它独立于语言，独立于平台。Google 提供了多种语言的实现：java、c#、c++、go 和 python（社区还有支持JavaScript、Lua等），每一种实现都包含了相应语言的编译器以及库文件。

由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换，其本身自带数据压缩的能力（对基本数据类型），作为一种效率和兼容性都很优秀的二进制数据传输格式，可以用于诸如网络传输、配置文件、数据存储等诸多领域。

2

Protostuff是什么？

Protostuff是基于Google Protobuf实现的Java运行时序列化与反序列化的工具类库，免去了需要定义.Proto文件，再去生成对应的语言相关的文件。当然，如果你用的是其他语言，则只需根据Java定义的属性的顺序来定义.Proto文件，再生成对应的语言类，就能进行跨语言的反序列化。

3

代码实现

接下来介绍下，在项目中我是如何进行用户特征相关的数据存储和读取的一些相关对比。代码如下：

4

测试数据输出结果

5

总结

有了Protostuff，我们存入Redis的数据结构可以无限拓展，不会出现不兼容情况，同时也顺带提供了多语言支持，其他语言如果需要读取Redis的特征数据，只需定义Proto文件，生成对应的自己语言的类，则能反序列化字节流成原本的对象，反序列化也是Protobuf的一大性能优势。通过Gzip进行压缩，能最大限度的压缩到最小，让我们的Redis内存更加充分利用，不需要很大的集群就能支持上亿的用户数据。

关于作者

廖鹏，vivo中间件工程师，主要负责算法平台项目开发及相关中间件的开发，使用Java热插拔特性开发算法模块化及数据同步等功能，对SOA领域有相关的了解及架构经验。