本文由sweetying分享,为了更好的阅读体验,有较多的内容修订和排版优化。
最近我负责的 LiveChat 客服聊天系统到了自研阶段,任务类似于做一个腾讯云IM这样的通信层SDK。在和后台进行技术选型讨论后,确定了数据传输层协议格式使用 Protobuf。
本文基于我对Protobuf在Android端的实际使用心得,手把手教你如何在Android端IM产品中使用Protobuf,希望对你有帮助。
本文是系列文章中的第 6 篇,总目录如下:
《IM通讯协议专题学习(一):Protobuf从入门到精通,一篇就够!》
《IM通讯协议专题学习(二):快速理解Protobuf的背景、原理、使用、优缺点》
《IM通讯协议专题学习(三):由浅入深,从根上理解Protobuf的编解码原理》
《IM通讯协议专题学习(四):从Base64到Protobuf,详解Protobuf的数据编码原理》
《IM通讯协议专题学习(五):Protobuf到底比JSON快几倍?全方位实测!》
《IM通讯协议专题学习(六):手把手教你如何在Android上从零使用Protobuf》(* 本文)
《IM通讯协议专题学习(七):手把手教你如何在NodeJS中从零使用Protobuf》
《IM通讯协议专题学习(八):金蝶随手记团队的Protobuf应用实践(原理篇)》
《IM通讯协议专题学习(九):手把手教你如何在iOS上从零使用Protobuf》
Protobuf的全称是Protocol Buffers,它是 Google 推出的一种与平台无关、语言无关、可扩展的轻便高效的序列化数据存储格式,类似于我们常用的 xml 和 json。
一个疑问:既然有了 XML 和 JSON,Google 为啥还要推出 Protobuf 呢?
存在即是合理,Protobuf 的优势用两个字总结就是:小、快。
相同的数据内容,用 Protobuf 序列化后的大小是 JSON 的十分之一,是 XML 格式的二十分之一,而且性能是他们的 5~100 倍。
通常情况下,我们使用 XML 或者 JSON 进行数据通信是没什么问题的,但是在性能优化的场景下,如果有办法压缩数据量、提高传输效率,显然会给用户带来更快更流畅的体验。因此我在做 LiveChat 自研技术选型时,Protobuf 成为了我们进行数据传输协议格式的第一选择。
介绍两种安装 Protobuf 的方式:
Protobuf 版本尽量保持前后台一致,这里是后台和我约定的一个版本(点此下载)。
1)根据自己的系统选择相应的 zip 包:
以我下载的为例,解压后结构如下:
可以看到 bin 目录下有个 protoc 的可执行文件。
我们给它配置一下环境变量就可以使用了(以我的为例):
# protobuf 环境变量 exportPROTOBUF_HOME=/Users/zhouying/Downloads/protoc-3.19.2-osx-x86_64 exportPATH=${PATH}:${PROTOBUF_HOME}/bin
配置好后,使用 protoc --version 命令验证:
可以看到打印出了版本,证明我们安装成功了。
直接使用以下命令就可以一键安装或卸载:
//一键安装 protobuf brew installprotobuf //一键卸载 protobuf brew uninstall protobuf
PS:这种方式只适用于 Mac 系统,而且安装的 protobuf 为最新版本,因此如果想要使用指定的版本,建议使用上小节里的Github下载安装这种方式。
这里我使用的 IDE 是 AndroidStudio。如果你还在用Eclipse+ADT开发Android程序,那我也不知道说啥好。
如下图:
可以看到这个文件前面的 icon 是个文本类型的,而且你在编写代码时,没有任何提示,关键字也没高亮显示,此时我们需要集成一个插件来支持 Protobuf 的编写。
当我们集成这个插件后,可以看到文件 icon 和代码高亮的变化,而且还会有语法提示(如下图所示)。
ok,接下来我们就可以愉快的编写 Protobuf 了,但是要怎么写呢?你是不是还不会 Protobuf 的语法,接着往下看。
关于 Protobuf 的语法有很多,限于篇幅,我们这里只讲一些常用的(如果有兴趣进一步学习的,可以详读本系列的前几篇,比如《Protobuf从入门到精通,一篇就够!》、《快速理解Protobuf的背景、原理、使用、优缺点》)。
PS:在 Proto3 中不支持 required (必须)字段。
可变长度编码和固定长度编码区别:
//例如说我在 Java 里面进行如下定义: inta = 1; //因为 int 类型占 4 个字节,1个字节占 8 位,我们把 1 的字节占位给列出来: 00000000000000000000000000000001 //可以看到 1 的前面 3 个字节占位都是 0,在 Protobuf 里面是可以去掉的,于是就变成了: 00000001 //因此 1 在 Protobuf 里面就只占用了一个字节,节省了空间
上面这种就是可变长度编码。而固定长度编码就是即使前面的字节占位是 0,也不能去掉,我就是要占这么多字节。
基本数据类型默认值:
在上面创建的 Protobuf 文件中,定义一个学生,学生有姓名,年龄,邮箱和课程。
我们来实现一下它:
//指定 Protobuf 版本 syntax = "proto3"; //指定包名 package erdai; //定义一个学生的消息类 message Student{ //姓名 string name = 1; //年龄 int32 age = 2; //邮箱 string email = 3; //课程 repeated string course = 4; //相当于 Java 的 List<String> }
有几个地方需要注意:
message Weather{ int32 query = 1; //季节 enum Season{ //允许对枚举常量设置别名 option allow_alias = true; //枚举里面的 = 操作是对常量进行赋值操作 //春 SPRING = 0; //夏 SUMMER = 1; //秋 如果不设置别名,不允许存在两个相同的值 FALL = 2; AUTUMN = 2; //冬 WINTER = 3; } //对 season 进行编号 Season season = 2; }
有几个地方需要注意:
repeated string list = 1; //类似 Java 的 List<String> map<string,string> = 2; //类似 Java 的 Map<String,String>
有几个地方需要注意:
当我们使用 reserved 关键字指定一个字段编号或字段名为保留字段后,我们就不能去使用它,否则编译器会报错(如下图所示)。
ok,简单的介绍了 Protobuf 语法后,接下来我们使用 AndroidStudio 将 Protobuf 文件转换为对应的 Java 文件来进行开发。
首先我们要明白一点:Protobuf 是一种与平台,语言无关的数据存储格式,因此我们要在其它语言如:Java,Kotlin,Dart 等语言中使用它,则必须将 Protobuf 文件转换为对应平台的语言文件去使用。
这里我们以转 Java 文件为例,介绍两种转换的方式:
在使用这两种方式转换前,我们需要先集成 protobuf-java 这个第三方库,因为我们转换的 Java 文件中会使用这个库里面的功能。
在Android Studio的工作配置中集成 protobuf-java:
implementation 'com.google.protobuf:protobuf-java:3.19.2'
最新版本可查看此链接:protobuf/java at main · protocolbuffers/protobuf · GitHub
插件链接是:GitHub - google/protobuf-gradle-plugin: Protobuf Plugin for Gradle
第一步:在项目的根 build.gradle 文件中,添加如下依赖:
buildscript { repositories { gradlePluginPortal() } dependencies { classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.19' } }
第二步:在 app 的 build.gradle 文件中应用插件:
//1、如果使用的是 apply 方式,Android 插件必须在 Protobuf 插件之前,如下: apply plugin: 'com.android.application' apply plugin: 'com.google.protobuf' //2、如果使用的是 Gradle DSL 方式,则与顺序无关 plugins { id'com.google.protobuf' id'com.android.application' }
第三步:在 app 的 build.gradle 文件中配置 protobuf 编译任务:
android { //... } protobuf { //配置 protoc 编译器 protoc { artifact = 'com.google.protobuf:protoc:3.19.2' } //配置生成目录,编译后会在 build 的目录下生成对应的java文件 generateProtoTasks { all().each { task -> task.builtins { remove java } task.builtins { java {} } } } }
第四步:指定 protobuf 文件所在路径:
android { //... sourceSets { main { //实际测试指不指定无所谓,不影响 Java 文件生成 proto { srcDir 'src/main/proto' } } } }
经过上面 4 步,我们的插件就算配置完成了,接下来我们测试一下。
以我们上面那个 student.proto 为例,里面的内容如下:
//指定 Protobuf 版本 syntax = "proto3"; //指定包名 package erdai; //定义一个学生的消息类 message Student{ //姓名 string name = 1; //年龄 int32 age = 2; //邮箱 string email = 3; //课程 repeated string course = 4; } //定义一个天气的消息类 message Weather{ int32 query = 1; //季节 enum Season{ option allow_alias = true; //春 SPRING = 0; //夏 SUMMER = 1; //秋 FALL = 2; AUTUMN = 2; //冬 WINTER = 3; } Season season = 2; }
编译后,会在 app/build/generated/source/proto/ 目录下生成如下文件:
这种方式会自动给我们生成对应的 Java 类,就是集成的时候麻烦一点。
执行如下命令:
protoc --java_out=${"你要生成的 Java 文件目录"} ${"Protobuf 文件位置"} //以我的为例: protoc --java_out=./app/src/main/java ./app/src/main/proto/student.proto
生成的文件:
这种方式的优点是使用非常简单,但是每一次创建新的 Protobuf 文件都需要执行一下命令。
关于这个类的内容我简单介绍下,大家也可以生成后自行看源码(如下图)。
接下来简单进行说明。
1)成的类 StudentOuterClass 有 4 个子类:
Student (实现了 StudentOrBuilder 接口) Weather (实现了 WeatherOrBuilder 接口) StudentOrBuilder (接口) WeatherOrBuilder (接口)
2)Student 是 StudentOuterClass 的静态内部类,构造方法私有化,需通过 Builder 模式创建对象。另外 Student 提供了属性的 get 方法,无 set 方法,Builder 作为 Student 的静态内部类提供了属性的 get,set,clear方法,clear 就是清空某个属性回到初始值。
3)Weather 同 2。
接下来我们对刚才生成的 Java 类进行使用。
fun main(){ //构建 Protobuf 对象 val student = StudentOuterClass.Student.newBuilder() .setName("erdai") .setAge(18) .setEmail(" aaaa#qq.com .setEmail("erdai666@qq.com") .addAllCourse(mutableListOf("Math", "English", "Computer")) .build() println(student) println() println(StudentOuterClass.Weather.Season.SPRING.number) println(StudentOuterClass.Weather.Season.SUMMER.number) println(StudentOuterClass.Weather.Season.AUTUMN.number) println(StudentOuterClass.Weather.Season.WINTER.number) } //打印结果 name: "erdai" age: 18 email: " aaaa#qq.com" course: "Math" course: "English" course: "Computer" 0 1 2 3
fun main(){ //1、构建 Protobuf 对象 val student = StudentOuterClass.Student.newBuilder() .setName("erdai") .setAge(18) .setEmail(" aaaa#qq.com") .addAllCourse(mutableListOf("Math", "English", "Computer")) .build() //2、序列化并返回一个包含其原始字节的字节数组 val byteArray: ByteArray = student.toByteArray() //3、反序列化从字节数组中解析消息 val parseStudent: StudentOuterClass.Student = StudentOuterClass.Student.parseFrom(byteArray) }
首先我们需要添加一个第三方依赖:
implementation 'com.google.protobuf:protobuf-java-util:3.19.2'
Protobuf 转 JSON:
fun main(){ //1、构建 Protobuf 对象 val student = StudentOuterClass.Student.newBuilder() .setName("erdai") .setAge(18) .setEmail("aaaa#qq.com .setEmail("erdai666@qq.com") .addAllCourse(mutableListOf("Math", "English", "Computer")) .build() //2、Protobuf 转 Json val json = JsonFormat.printer().print(student) //3、打印 json println(json) } //打印结果 { "name": "erdai", "age": 18, "email": " aaaa#qq.com", "course": ["Math", "English", "Computer"] }
JSON 转 Protobuf:
fun main(){ //1、构建 Protobuf 对象 val student = StudentOuterClass.Student.newBuilder() .setName("erdai") .setAge(18) .setEmail(" aaaa#qq.com .setEmail("erdai666@qq.com") .addAllCourse(mutableListOf("Math", "English", "Computer")) .build() //2、Protobuf 对象转 Json val json = JsonFormat.printer().print(student) //3、Json 转 Protobuf 对象 val builder = StudentOuterClass.Student.newBuilder() JsonFormat.parser().ignoringUnknownFields().merge(json,builder) //4、打印 Protobuf 对象 println(builder.build()) } //打印结果 name: "erdai" age: 18 email: " aaaa#qq.com" course: "Math" course: "English" course: "Computer"
这个实则是在前述的基础上,当我们将 Protobuf 转换为 JSON 后,在把 JSON 转换为对应的 Java 对象。
这里我们先引入 Gson库: implementation 'com.google.code.gson:gson:2.8.9'
PS:类似于fastjson,Gson是Google出品的著名JSON解析库。
先定义一个接收当前 Json 的数据模型:
data class MyStudent( varname: String? = "", varage: Int = 0, varemail: String? = "", varcourse: MutableList<String>? = null )
最后进行转换:
fun main(){ //1、构建 Protobuf 对象 val student = StudentOuterClass.Student.newBuilder() .setName("erdai") .setAge(18) .setEmail(" aaaa#qq.com .setEmail("aaaa#qq.com") .addAllCourse(mutableListOf("Math", "English", "Computer")) .build() //2、将 Protobuf 转换为 Json val json = JsonFormat.printer().print(student) //3、将 Json 转换为 Java Bean 对象 val myStudent = Gson().fromJson(json,MyStudent::class.java) println(myStudent) } //打印结果 MyStudent(name=erdai, age=18, email= aaaa#qq.com, course=[Math, English, Computer])
这里我小结一下关于 Protobuf 的开发流程:
因此,上面我讲的这些内容如果你都掌握了,基本上就能满足Android端使用Protobuff进行日常开发了。
好了,本篇文章到这里就结束了,如果有啥问题,欢迎评论区一起交流。
[2] Protobuf官方手册
[5] 强列建议将Protobuf作为你的即时通讯应用数据传输格式
[6] APP与后台通信数据格式的演进:从文本协议到二进制协议
[9] 简述移动端IM开发的那些坑:架构设计、通信协议和客户端
[12] 金蝶随手记团队的Protobuf应用实践(原理篇)
[13] 新手入门一篇就够:从零开发移动端IM
学习交流:
- 移动端IM开发入门文章:《 新手入门一篇就够:从零开发移动端IM》 - 开源IM框架源码: https://github.com/JackJiang2011/MobileIMSDK( 备用地址点此)
(本文已同步发布于:http://www.52im.net/thread-4135-1-1.html)
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。