专栏首页独行猫a的沉淀积累总结嵌入式linux之go语言开发(七)protobuf的使用

嵌入式linux之go语言开发(七)protobuf的使用

之前写过一篇博文:《如果终端采用protobuf与采集前置通信,能带来哪些变革?https://blog.csdn.net/yyz_1987/article/details/81147454》,介绍了使用protobuf作为序列化通信格式的诸多好处。

那么接下来在嵌入式linux之go语言开发实战中,也尝试用protobuf作为序列化和通信的协议格式。

之前想做个protobuf序列化的反向解析工具,但是发现反向解析工具,现成的就有啊。可以直接拿来用。

使用方法:

E:\GOPATH\src\protobuf>cat out.bin | protoc --decode_raw

直接就输出了反向之后的内容,且无需知道test.proto定义文件。

protoc.exe可直接从网上下载,下载后放到go/bin的安装路径下即可。

我下载的是protoc-3.4.0-win32.zip

protobuf的简单使用:

先编写*.proto定义文件如test.proto:

在这个文件中可以定义需要的结构, 例如枚举型, 结构体等等. 那么首先我自己定义了一个结构如下所示,

syntax = "proto2";
package test;
message myMsg
{
    required int32     id = 1;   // ID
    required string    str = 2;  // str
    optional int32     opt = 3;  //optional field
}

注意required是必须要求的字段, optional是可选字段。

同时注意, id=1, 后面的数字仅仅是一个unique标志而已, 保证唯一性就OK! 然后使用protoc test.proto –go_out=. 编译这个文件, 生成的文件名称为test.pb.go文件!

如果这个路径下有多个文件需要编译, 那么执行protoc –go_out=. *.proto就可以.

注意–go_out=后面的参数是生成的文件的路径, 本文生成的文件在’.’当前路径下.

【proto字段对应关系】

proto字段类型的对应关系:

【标识符】

在消息定义中,每个字段都有唯一的一个数字标识符。

标识符用来在消息的二进制格式中识别各个字段,一旦使用就不能够再改变。 最小的标识符可以从1开始,最大到2^29 - 1(536,870,911),不可以使用其中[19000-19999]( Protobuf协议实现中进行了预留。如果非要在.proto文件中使用预留标识符,编译时就会报警。 [1,15]内的标识号在编码的时候会占用一个字节。[16,2047]之内的标识号则占用2个字节。所以应该为频繁出现的消息元素保留[1,15]内的标识号。

【字段规则】

消息的字段修饰符必须是如下之一: A、singular:一个格式良好的message应该有0个或者1个该字段(但不能超过1个)。 B、repeated:在一个格式良好的消息中,该字段可以重复任意多次(包括0次),重复值的顺序会被保留。 在proto3中,repeated的标量字段默认情况下使用packed。

以上关于proto对应关系和标识符,字段规则等内容引用自博客《https://blog.51cto.com/9291927/2331980?source=drh

更多关于proto文件的定义和使用,可参见博文:《https://blog.51cto.com/9291927/2331980?source=drh

[Protobuf序列化原理]

1、Protobuf序列化

Protobuf对于数据存储的三大原则: (1)Protocol Buffer将消息中的每个字段进行编码后,利用T - L - V 存储方式进行数据的存储,最终得到一个二进制字节流。 (2)ProtoBuf对于不同数据类型采用不同的序列化方式(数据编码方式与数据存储方式) Protobuf对于不同的字段类型采用不同的编码和数据存储方式对消息字段进行序列化,以确保得到高效紧凑的数据压缩。不同类型的数据采用的编码方式和存储方式如下: 对于Varint编码数据的存储,不需要存储字节长度Length,使用T-V存储方式进行存储;对于采用其它编码方式(如LENGTH_DELIMITED)的数据,使用T-L-V存储方式进行存储。 (3)ProtoBuf对于数据字段值的独特编码方式与T-L-V数据存储方式,使得 ProtoBuf序列化后数据量体积极小。

2、WireType=0的序列化

WireType=0的类型包括int32,int64,uint32,unint64,bool,enum以及sint32和sint64。 编码方式采用Varint编码(如果为负数,采用Zigzag辅助编码),数据存储方式使用T-V方式存储二进制字节流。

3、WireType=1的序列化

WireType=1的类型包括fixed64,sfixed64,double。 编码方式采用64bit编码(编码后数据大小为64bit,高位在后,低位在前),数据存储方式使用T-V方式存储二进制字节流。

4、WireType=2的序列化

WireType=2的类型包括string,bytes,嵌套消息,packed repeated字段。 对于编码方式,标识符Tag采用Varint编码,字节长度Length采用Varint编码,string类型字段值采用UTF-8编码,嵌套消息类型的字段值根据嵌套消息内部的字段数据类型进行选择, 数据存储方式使用T-L-V方式存储二进制字节流。

5、WireType=5的序列化

WireType=5的类型包括fixed32,sfixed32,float。 编码方式采用32bit编码(编码后数据大小为32bit,高位在后,低位在前),数据存储方式使用T-V方式存储二进制字节流。

[Protobuf使用建议]

基于Protobuf序列化原理分析,为了有效降低序列化后数据量的大小,可以采用以下措施: (1)多用 optional或 repeated修饰符 若optional 或 repeated 字段没有被设置字段值,那么该字段在序列化时的数据中是完全不存在的,即不需要进行编码,但相应的字段在解码时会被设置为默认值。 (2)字段标识号(Field_Number)尽量只使用1-15,且不要跳动使用 Tag是需要占字节空间的。如果Field_Number>16时,Field_Number的编码就会占用2个字节,那么Tag在编码时就会占用更多的字节;如果将字段标识号定义为连续递增的数值,将获得更好的编码和解码性能。 (3)若需要使用的字段值出现负数,请使用sint32/sint64,不要使用int32/int64。 采用sint32/sint64数据类型表示负数时,会先采用Zigzag编码再采用Varint编码,从而更加有效压缩数据。 (4)对于repeated字段,尽量增加packed=true修饰 增加packed=true修饰,repeated字段会采用连续数据存储方式,即T - L - V - V -V方式。

以上关于protobuf序列化原理和使用建议的介绍,参见一篇写的好的博文:《https://blog.51cto.com/9291927/2332264

若需要生成供其他语言调用的代码源文件,

则需要这样:

protoc --go_out=. test.proto //生成供go语言使用的结构源文件

protoc --cpp_out=. test.proto //生成供c++语言使用的类源文件

protoc --java_out=. test.proto //生成供java语言使用的类源文件

注:能否生成供c语言调用的源码?能否在嵌入式系统上供c使用protobuf?

也是可以的。参照博文《protobuf在嵌入式linux下的移植及c语言调用https://blog.csdn.net/yyz_1987/article/details/81126877

注:生成供go语言使用的源文件,需要提前先获取并安装proto-gen-go,

因为protoc --go_out内部自动调用了protoc-gen-go

go get github.com/golang/protobuf/protoc-gen-go,

这条命令去获取protoc-gen-go,然后go install即可。

或者直接go install github.com/golang/protobuf/protoc-gen-go

调用

protoc --go_out=. test.proto

生成的代码如下:

// Code generated by protoc-gen-go.
// source: 1.proto
// DO NOT EDIT!

/*
Package test is a generated protocol buffer package.

It is generated from these files:
	1.proto

It has these top-level messages:
	MyMsg
*/
package test

import proto "github.com/golang/protobuf/proto"
import math "math"

// Reference imports to suppress errors if they are not otherwise used.
var _ = proto.Marshal
var _ = math.Inf

type MyMsg struct {
	Id               *int32  `protobuf:"varint,1,req,name=id" json:"id,omitempty" bson:"id,omitempty"`
	Str              *string `protobuf:"bytes,2,req,name=str" json:"str,omitempty" bson:"str,omitempty"`
	Opt              *int32  `protobuf:"varint,3,opt,name=opt" json:"opt,omitempty" bson:"opt,omitempty"`
	XXX_unrecognized []byte  `json:"-"`
}

func (m *MyMsg) Reset()         { *m = MyMsg{} }
func (m *MyMsg) String() string { return proto.CompactTextString(m) }
func (*MyMsg) ProtoMessage()    {}

func (m *MyMsg) GetId() int32 {
	if m != nil && m.Id != nil {
		return *m.Id
	}
	return 0
}

func (m *MyMsg) GetStr() string {
	if m != nil && m.Str != nil {
		return *m.Str
	}
	return ""
}

func (m *MyMsg) GetOpt() int32 {
	if m != nil && m.Opt != nil {
		return *m.Opt
	}
	return 0
}

func init() {
}

注意: 生成的文件中的package是test, 那么文件必须放在test文件夹下!

否则会报错: “can’t load package: package test: found packages test (test.pb.go) and main (main.go)”

测试程序:

// main.go
package main

import (
	"fmt"
	"io/ioutil"

	t "./test"
	"github.com/golang/protobuf/proto"
)

// WriteFile 写文件
//
func WriteFile(fname, content string) {
	data := []byte(content)
	if ioutil.WriteFile(fname, data, 0644) == nil {
		fmt.Println("写入文件成功:", content)
	}
}

// WriteFile1 写文件
//
func WriteFile1(fname string, content []byte) {
	if ioutil.WriteFile(fname, content, 0644) == nil {
		fmt.Println("写入文件成功:", content)
	}
}
func main() {
	// 创建一个对象, 并填充字段, 可以使用proto中的类型函数来处理例如Int32(XXX)
	hw := t.MyMsg{
		Id:  proto.Int32(1),
		Str: proto.String("hello"),
		Opt: proto.Int32(2),
	}

	// 对数据进行编码, 注意参数是message指针
	mData, err := proto.Marshal(&hw)

	if err != nil {
		fmt.Println("Error1: ", err)
		return
	}
	WriteFile1("out.bin", mData)

	// 下面进行解码, 注意参数
	var umData t.MyMsg
	err = proto.Unmarshal(mData, &umData)

	if err != nil {
		fmt.Println("Error2: ", err)
		return
	}

	// 输出结果
	fmt.Println(*umData.Id, "  ", *umData.Str, "  ", *umData.Opt)
}

序列化后的内容,这里保存为文件out.bin了,可以用16进制打开查看内容。

不过这protobuf格式,需要按协议解析后才能看得懂,直接看看不出来具体内容。通过protoc.exe可以直接反序列化查看。

Protobuf的编码是尽其所能地将字段的元信息和字段的值压缩存储,并且字段的元信息中含有对这个字段描述的所有信息。使用了variant是一种紧凑型数字编码。 Protobuf编码的最终结果可以使用下图来表示:

后续打算对protobuf的协议格式做个研究,对go的protobuf的源码做个解读。

在嵌入式linux上,执行看看效果,使用如下命令:

GOOS=linux GOARCH=arm GOARM=7 go build main.go

即可生成可在嵌入式linux上执行的文件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • protobuf在嵌入式linux下的移植及c语言调用

    关于什么是protobuf,网上搜搜一大堆,很多人用的都还是json,以为json是多种语言传输数据是万能的,看完了protobuf的实现,就明白了简单高效才是...

    特立独行的猫a
  • 移植nodejs到嵌入式linux,让终端支持可使用js做些功能

    Node.js是一个基于Chrome V8引擎的JavaScript运行环境.Node.js使用了一个事件驱动,非阻塞式I / O的模型,使其轻量又高...

    特立独行的猫a
  • 重新构建711的Android项目(一),巧妙的小屏菜单查询框架实现

    Android的配置文件操作封装,摒弃SharedPreference操作配置漫天乱飞,

    特立独行的猫a
  • python-3_函数_匿名函数_正则_

    L=['a','b','c','d'] for (offset,item) in enumerate(L):     print offset,item ...

    py3study
  • web系统性能及规范检测笔记

    关于javascript的语言特性,Douglas Crockford在蝴蝶书里面写过:“一些特性因为规范的不完善而可能导致可移植性问题,一些特性会导致代码难以...

    IMWeb前端团队
  • web系统性能及规范检测笔记

    静态检查 关于javascript的语言特性,Douglas Crockford在蝴蝶书里面写过:“一些特性因为规范的不完善而可能导致可移植性问题,一些特性会导...

    IMWeb前端团队
  • python3学习之列表

    备注:append将obj作为一个整体追加,无论obj是字符串、数字、字典、列表等,当是字典时全部插入,跟L.extend(iterable) 不同

    py3study
  • Jmeter 压测 HTTP

      上一篇文章[关于Jmeter]介绍了Jmeter入门相关的知识。本文是实战篇,讲讲如何使用Jmeter对 Http 进行压力测试。

    happyJared
  • 【论文阅读】EMNLP 2018 基于自适应的多轮解码机制的神经机器翻译模型

    本文介绍哈尔滨工业大学社会计算与信息检索研究中心(SCIR)录用于EMNLP 2018的论文《Adaptive Multi-Pass Decoder for N...

    zenRRan
  • 王征:我为什么离开人人羡慕的政府单位出来创业?

    创业12年,延续的不仅仅是他想要跟上时代步伐的精神,还有留存在他骨子里的工匠精神。

    耐思尼克

扫码关注云+社区

领取腾讯云代金券