caffe中是如何运用protobuf构建神经网络的?

 caffe这个框架设计的比较小巧精妙,它采用了protobuf来作为交互的媒介,避免了繁重的去设计各个语言的接口,开发者可以使用任意语言通过这个protobuf这个媒介,来运行这个框架.

  我们这里不过多的去阐述caffe的过往以及未来,只是简单的描述一下,caffe框架中的protobuf的作用,以及它的背后原理. 一般来说cafe.proto中有对应的solve,solve中悠悠Layer,通过prototxt解析生成一个大对象sovle,然后solve底下有一个Layer数组对象,我们所定义的网络就是Layer数组,通过解析Layer数组,反射到对应layer对应的,遍历Layer数组的过程也就是勾结神经网络的过程,遍历完成之后,也就构成了一张神经网络图,然后就是执行这个图,也就是依据这个对象数组一步步的,喂数据,forward操作,和backward操作,计算loss,等. 我们可以这样类比,我们可以模仿这个原理简单的设计一个框架,这里先不考虑C++的反射机制问题,这里只讨论如何将prototxt文件解析出来,至于如何反射到实际的类上,下次有时间可以在记录一个备忘录.

  比如,我们设计一个这样的demo.proto 来定义我们的对象属性:

 1 package caffe;
 2 
 3 message Student
 4    {
 5       required int32 age = 1; //ID required 表示必要字段
 6       required string name = 2; //str 必要字段
 7       optional int32 grade = 3 ; //optional field 可选字段,可以有无,最多b
 8    }
 9 
10 message WorkDay{
11     required bool isworker =1;
12     required bool isjiaban =2; //是否算加班
13 }
14 
15 message Teacher{
16     required string name = 1 ;
17     required WorkDay work = 2;  //是否工作
18     optional int32  age = 3;
19 
20 }
21 
22 //班级
23 message Class{
24        required string name = 1;   //班级名称
25        repeated Student stu = 2;    //班级成员 数组
26        repeated Teacher teacher=3;
27    }

 然后我们来设计一些对象:比如我们设计一个班级中有一名老师,和若干个学生. param.prototxt

 1 name: "三年级23班"
 2 
 3 teacher {
 4   name: "tom"
 5   age: 17
 6   work {
 7     isworker: 1 ;#中文
 8     isjiaban: 1;
 9    }
10 }
11 
12 stu {
13     age: 19;
14     name: "demo"; ##中文
15     grade: 134;
16 }
17 
18 stu {
19     age: 19;
20     name: "google"; ##中文
21     grade: 134;
22 }
23 
24 stu {
25     age: 19;
26     name: "snake"; ##中文
27     grade: 134;
28 }

然后我们来依次解析出这个param.prototxt文件中的信息:

 1 //
 2 // Created by xijun1 on 2017/12/22.
 3 //
 4 #include <google/protobuf/io/coded_stream.h>
 5 #include <google/protobuf/io/zero_copy_stream_impl.h>
 6 #include <google/protobuf/text_format.h>
 7 
 8 //反射机制
 9 #include <google/protobuf/compiler/importer.h>
10 #include <google/protobuf/dynamic_message.h>
11 
12 #include "proto/demo.pb.h"
13 #include<iostream>
14 #include <fstream>
15 #include<ios>
16 #include <cstdlib>
17 #include <cstring>
18 #include <cstdio>
19 
20 #include <fcntl.h>   // open
21 using namespace std;
22 
23 void InfoStudents(const caffe::Student & stu){
24     cout<< "student info:"<<endl;
25     cout<<"     name: "<<stu.name()<<endl;
26     cout<<"     age: "<<stu.age()<<endl;
27     cout<<"     grade: "<<stu.grade()<<endl;
28 }
29 
30 void InfoTeacher(const caffe::Teacher & teacher) {
31     cout << "teacher info:" << endl;
32     cout << "       name: " << teacher.name() << endl;
33     cout << "       age: " << teacher.age() << endl;
34     cout<< "            is worker: "<<teacher.work().isworker()<<endl;
35     cout<< "            is jiaban: "<<teacher.work().isjiaban()<<endl;
36 }
37 
38 
39 int main(void)
40 {
41     caffe::Class cls;
42     int file_desc = open("./param.prototxt",O_NDELAY);
43 
44     google::protobuf::io::FileInputStream fileInputStream(file_desc);
45     if(!google::protobuf::TextFormat::Parse(&fileInputStream,&cls)){
46         std::cout<<"parse failure."<<std::endl;
47         return -1;
48     }
49     std::cout<<cls.name()<<std::endl;
50 
51 
52     //按照索引进行读取
53     for(int i=1;i<cls.GetMetadata().descriptor->field_count(); ++i){
54         std::cout<<cls.descriptor()->field(i)->name()<<std::endl;
55         //cout<<cls.descriptor()->field(i)->full_name()<<endl;
56         if(cls.descriptor()->field(i)->name()=="stu"){
57             for (auto &stu_info : cls.stu()){
58 
59                  InfoStudents(stu_info);
60             }
61         }
62 
63         if(cls.descriptor()->field(i)->name()=="teacher"){
64             for (auto &teacher_info : cls.teacher()){
65 
66                 InfoTeacher(teacher_info);
67             }
68         }
69     }
70 
71     return 0;
72 }

我们试着运行一下,会看到这个结果:

这样之后是不是对caffe有了很直观的认识了呢.....

详细的代码,我放到github上了,附上地址:

https://github.com/gongxijun/protoc

----完----

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端黑板报

JavaScript代码风格要素

1920年,由威廉·斯特伦克(William Strunk jr .)撰写的《英语写作手册:风格的要素(The Elements of Style)》出版了,这...

18610
来自专栏Crossin的编程教室

【Python 第59课】 正则表达式(5)

听说有人已经开始国庆假期了,甚至还有人中秋之后就请了年假一休到底,表示羡慕嫉妒恨!今天发完这课,我也要进入休假状态,谁也别拦着我。 来说上次的习题: (021...

3128
来自专栏tkokof 的技术,小趣及杂念

Sweet Snippet 系列之 Clone Lua Table

参加工作好多年了,却一直对程序中的clone(拷贝)语义比较陌生,印象中很多开发书籍对此都有很大篇幅的讨论,但自己平日里用到的情况却很少. 细想一下原因,可...

722
来自专栏WindCoder

网易MySQL微专业学习笔记(六)-内置函数

这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL数据库对象与应用”中的MySQL数据类型相关笔记。

451
来自专栏程序员互动联盟

【编程基础】C语言从源程序到可执行程序

一.0,1、文本信息和字符编码 所有的信息在计算机中都是以0、1及其组合形式存在。文本信息也不例外。文本信息是以人类容易理解的方式来呈现信息。 ...

3114
来自专栏张善友的专栏

.Net脚本语言Boo简介

      对软件工程来说,脚本语言相当于输送管,他们强大的富有表现力的语法是他们能够比较理想地处理软件开发过程中的外围特殊任务。脚本语言常用于批处理、小工具包...

17910
来自专栏Java架构

分布式超大规模数据的实时快速排序算法

2257
来自专栏二进制文集

思维导图学Java虚拟机(修订版)

第二次读周志明的《深入理解Java虚拟机》,感觉我原来的思维导图笔记,在结构上有些问题。更新了思维导图的结构,同时优化了GC、虚拟机字节码执行引擎、Java编译...

612
来自专栏CDA数据分析师

不可不知的一点Python陷阱

于易于学习以及快速开发更大更复杂的应用,Python渐渐在计算环境中无处不在。尽管明显的语言清晰度和友好会麻痹软件工程师和系统管理员的警觉性 —— 诱使他们编码...

2308
来自专栏数值分析与有限元编程

ANSYS模拟梁单元铰接点

ANSYS模拟梁单元铰接点有以下几种方法: 1.BEAM3/BEAM4单元,利用结点自由度耦合来实现铰接,在铰接处设两个单独的结点,每个结点只与一个梁单元连接,...

2925

扫码关注云+社区