[原创翻译]Protocol Buffer Basics: C#

Protocol Buffer 基础知识:c#    原文地址:https://developers.google.com/protocol-buffers/docs/csharptutorial

    这篇讲解c#版的Protocol Buffers的帖子,并不是完整的指南。想了解更多的信息请查看 Protocol Buffer Language Guide,  C# API Reference,  C# Generated Code GuideEncoding Reference.

    为什么使用protocol buffers?

    我们通过一个非常简单的"地址薄"程序来讲解,这个程序可以把人们的联系方式读取和写入一个文件。每个人的地址包含一个name, ID,email,和一个联系电话phone.

    你要怎么序列化和获取这样的结构化数据?这里有几种解决方案:

    *通过使用.net的二进制序列化System.Runtime.Serialization.Formatters.Binary.BinaryFormatter和相关的类。在一些数据大小要求苛刻的情况下,面对改变,这是非常脆弱的。

     并且对于跨平台共享数据方面做的不是很好。

    *你可以用特别的方式把数据编码成一个字符串-例:把4个int型数据编码成"12:3:-23:67".尽管它需要一次性编码和解析,解析时会造成一点运行时的损耗,但是它是非常简单灵活的做法。

     对于简单的数据编码这是最好的方式。

    *把数据序列化成XML。这种方式是非常吸引人的,因为对于人类XML是通俗易懂的,并且很多语言都有相应的库。但是XML是出了名的空间密集,编码和解码会造成程序上很大的性能损失。

     并且导航一个XML DOM树通常要比导航一个类中的字段复杂的多。

    Protocol Buffe 是灵活的,高效的,自动化的解决方案,完美的解决了上述的问题。你可以写一个 .proto文件用于描述你想存储的数据结构。然后,protocol buffer 编译器创建一个类。

这个类使用高效的二进制格式实现了自动编码和解析protocol buffer 数据。这个生成的类为字段生成了getters和setters,组成一条protocol buffer。并且会像一个单元一样处理详细的读写protocol

buffer.重要的是,potocol buffer格式支持随着时间扩展的概念,使用这样的方式代码始终可以读取旧格式的数据编码。

     从哪找到示例代码?

     我们的例子是用管理地址薄数据文件的命令行应用程序,使用protocol buffers 编码。 AddressBook 命令(查看 Program.cs )可以把一个新的实体添加到数据文件或者解析数据文件并输出到控制台。

     你可以在GitHub的 examples directorycsharp/src/AddressBook directory找到完整的示例代码。

     定义你自己的协议格式(protcol format)

     你需要使用 .proto文件来创建地址薄应用程序.在 .proto文件内定义非常简单:为每一个你想序列化的数据结构添加一个message,在message中为每个字段指定名称和类型。在我们的示例中,定义message 的 .proto文件在 addressbook.proto

     .proto文件的起始行声明一个包,这样可以避免在不同的项目中命名空间发生冲突。

syntax = "proto3";
package tutorial;

     使用c#,如果你没有指定命名空间( csharp_namespace)你生成的类会被放置到和包名称一至的命名空间中。在我们的示例中, csharp_namespace 选项已经被重新指新值,所以生成的代码使用命名空间 Google.Protobuf.Examples.AddressBook而不是 Tutorial。   

option csharp_namespace = "Google.Protobuf.Examples.AddressBook";

     下一步,定义你自己的message .message 是字段的集合。有许多标准的简单数据类型可以供字段类型使用,包含 boolint32floatdouble, and string.你可以通过使用其它message 类型做为字段类型,来增加更多的结构。

message Person {
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }

  repeated PhoneNumber phones = 4;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person people = 1;
}

     在上边的示例中, Person  message包含  PhoneNumber message, AddressBook message 包含 Person message.甚至你可以在message里定义message类型- 你可以看到, PhoneNumber类型定义在 Person里。如果你想字段拥有预定义好的集合中的一个值,你可以定义枚举( enum)类型 -这里我们指定一个手机号,可以是 MOBILEHOME, 或者 MOBILEHOME, 。

     每一个元素都有 " = 1", " = 2"这样的标记,这些标记是字段在二进制编码内的唯一标识标签,标签数字1-15比更大的数字需要更少的字节编码,做为优化你可以为常用的或repeated元素使用这些标签数字,把16以上的标签留给不经常使用的元素。重复字段的每一个元素都需要重新编码标签数字,所以重复字段特别适合这种优化。

     如果字段值没有被设置,使用默认值( default value):数值类型使用0,字符串类型使用空字符串,布尔类型为false。对于内嵌的message,如果没有给字段赋值,默认的值一般是message的"默认示例"或"原型"。如果没有显示的给字段设置值,在调用访问器时得到的是它的默认值。

     如果字段是 repeated这个字段可以重复任意次(包含0)。重复的值按序保存到protocol buffer.把重复字段相像成一个动态大小的数组。

     你可以在  Protocol Buffer Language Guide 找到一个完整编写 .proto文件的指南-包含所有可能的字段类型。不要去寻找类似于继承的功能,protocol buffer不这么做。

     编译你自己的 protocol buffers

     现在你已经有了一个 .proto.下面的事你需要做的是生成一个类,这个类用来读写 AddressBook消息(包含 Person和 PhoneNumber)。为了能完成这样的工作,你需要运行protocol buffer的编译器 protoc,编译你的 protoc文件。

     1.如果你没有安装编译器,下载 download the package后根据README的指示进行操作。

     2.现在运行你的编译器,指定源码目录(你的应用程序源码所在的文件夹-如果你不指定,会使用当前的文件夹目录),目标目录(生成代码保存的目录;一般和 $SRC_DIR是一样的),你的 .proto文件的路径,这个例子中你...:     

protoc -I=$SRC_DIR --csharp_out=$DST_DIR $SRC_DIR/addressbook.proto

     因为你使用c#类,所以使用 --csharp_out选项--相似的选项用来支持其它的语言。

     在你指定的目录生成 Addressbook.cs类。为了能编译这个代码,你需要有一个引用了 Google.Protobuf程序集的工程。

     地址薄类

     生成的 Addressbook.cs提供了5种有用的类型:

     1.一个静态的 AddressBook类,包含protocol buffer message的元数据。

     2.一个有只读 People属性类 AddressBook。

     3.一个拥有的 NameIdEmail和 Phones属性的类 Person。

     4.一个 PhoneNumber类,嵌入在静态的类 Person.Types中。

     5.一个 PhoneType枚举,也嵌入在 Person.Types中。

     你可以在 C# Generated Code guide阅读更多更详细的的生成信息。但是大部分你都可以把它们看成普通的c#类型。需要声明的一点重复字段(repeated fields)是只读的。你可以添加或删除项,但是不能使用一个完全独立的集合替换它。重复字段的集合类型是 RepeatedField<T>。这个类型像 List<T>一样,只是多了一些额外的便利方法,就像 Add方法的重载可以接收项的集合,用于集合的初始化。

     下边是一个例子用于说明如何创建一个Person的实例:

Person john = new Person
{
    Id = 1234,
    Name = "John Doe",
    Email = "jdoe@example.com",
    Phones = { new Person.Types.PhoneNumber { Number = "555-4321", Type = Person.Types.PhoneType.HOME } }
};

     注意如果使用c#6,你可以使用 using static删除 Person.Types。

// Add this to the other using directives
using static Google.Protobuf.Examples.AddressBook.Person.Types;
...
// The earlier Phones assignment can now be simplified to:
Phones = { new PhoneNumber { Number = "555-4321", Type = PhoneType.HOME } }

     解析和序列化

     使用protocol buffers的目的是序列化你的数据,在任何地方都可以解析。所有生成的类都有一个 WriteTo(CodedOutputStream)方法, CodedOutputStream是prtocol buffer运行时库的一个类。然而,一般情况下你可以使用扩展方法之一来写入到一个常规的 System.IO.Stream或者把message转换成二进制数组或者 ByteString.这些扩展信息在 Google.Protobuf.MessageExtensions类,所以当你想序列化时,你需要使用 using引入 Google.Protobuf命名空间,例:

using Google.Protobuf;
...
Person john = ...; // Code as before
using (var output = File.Create("john.dat"))
{
    john.WriteTo(output);
}

     解析也是非常简单的。每一个生成的类都有一个静态的属性 Parser,为这个类型返回 MessageParser<T>。反过来有一个方法用来解析流,二进制数组和 ByteString。用来解析我们刚创建的文件,我们可以这么做:

Person john;
using (var input = File.OpenRead("john.dat"))
{
    john = Person.Parser.ParseFrom(input);
}

     使用这些信息维护一个addressbook(添加一个新实体,和现有的清单) 的完整的示例程序在这里 in the Github repository

扩展 Protocol Buffer

    迟早你会发布使用protocol buffer的代码,毫无疑问的你想改善protocol buffer的定义。如果你想要新的buffers向后兼容,并且你的旧buffers向前兼容-不用说你一定想要这个-这里有一些规则你需要遵守。在新版本的protocol buffer:

     1.你不能改变已有字段的数字标签.

     2.你不能删除字段.

     3.添加新字段的时候一定要用没使用过的标签数字(也就是说,你不能使用已经使用过的标签数字,删除字段的标签数字也不要用)。

    如果你遵守这些规则,老的代码会非常高兴的读取新消息,并且忽略你新添加的字段。对于旧代码来说,删除的单独字段也会有它们的默认值,删除的repeated字段会被赋为空。新代码也会透明的读取旧的消息。

    反射

    消息描述(文件的内容信息)消息的实例可使用反射api进行检验。对于编写不同文本格式的的代码或智能比较工具是非常有用的。每一个生成的类都有一个静态的 Descriptor属性,可以使用 IMessage.Descriptor属性获取任意实例的描述。下面是一个如何使用上述内容的简单例子,一个用来打印任意message的顶级字段的简单的方法。

public void PrintMessage(IMessage message)
{
    var descriptor = message.Descriptor;
    foreach (var field in descriptor.Fields.InDeclarationOrder())
    {
        Console.WriteLine(
            "Field {0} ({1}): {2}",
            field.FieldNumber,
            field.Name,
            field.Accessor.GetValue(message);
    }
}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PhpZendo

PHP 生成器入门

PHP 在 5.5 版本中引入了「生成器(Generator)」特性,不过这个特性并没有引起人们的注意。在官方的 从 PHP 5.4.x 迁移到 PHP 5.5...

33110
来自专栏安恒网络空间安全讲武堂

typecho漏洞分析与HCTF实战

typecho漏洞分析与HCTF实战 0x00前记 通过最近的比赛,决定沉淀下来,从复现cms开始慢慢锻炼自己的审计能力,毕竟这个年头的CTF,不会审计只能活在...

29980
来自专栏逸鹏说道

C#异步调用的方法

最经公司工作需要调用一个外部的webservice,同时要将传出的数据进行保存,以自己以前的习惯,就打算逐步操作,失败啊,完全没考虑过用户体验效果,在同事指点下...

40260
来自专栏武培轩的专栏

京东面经汇总

一、Java Java的优势 平台无关性、垃圾回收 Java有哪些特性,举个多态的例子。 封装、继承、多态 abstract interface区别 含有abs...

66460
来自专栏游戏杂谈

Node.js文件编码格式的转换

项目很多 lua 文件不是 utf-8格式,使用 EditPlus 查看的时候,显示为ASCII。还有的是带BOM的,带BOM倒好处理,之前写过,有一定规律。

28240
来自专栏后端技术探索

反射机制、依赖注入、控制反转

反向: dll->类[方法,属性]. 从已经有的dll文件反编译得到其中的一些可用的方法.

11020
来自专栏Golang语言社区

GO语言并发编程之互斥锁、读写锁详解

一、互斥锁 互斥锁是传统的并发程序对共享资源进行访问控制的主要手段。它由标准库代码包sync中的Mutex结构体类型代表。sync.Mutex类型(确切地说,是...

381110
来自专栏安恒网络空间安全讲武堂

WriteUp分享 | CTF-web

题目 各种绕过哦 TXT? 文件上传测试 本地包含 考细心 正则? PHP很烦人? 一道签到题 抽抽奖 never give up I have a j...

4.1K80
来自专栏云瓣

Node.js 异步异闻录

提到 Node.js, 我们脑海就会浮现异步、非阻塞、单线程等关键词,进一步我们还会想到 buffer、模块机制、事件循环、进程、V8、libuv 等知识点。本...

43880
来自专栏JavaQ

Java研发方向如何准备BAT技术面试答案(上)

最近因为忙于工作,没时间整理,本篇是下班后晚上抽空整理的,文中部分答案本来是想自己好好整理一份的,但是时间真的很紧,所以就整理了一下网络上的文章链接,挑了写的不...

38950

扫码关注云+社区

领取腾讯云代金券