caffe源码分析-SyncedMemory

本文主要分析**caffe**中**Blob**内存管理类**SyncedMemory**，主要内容包括：

1. SyncedMemory和Blob的关系
2. SyncedMemory中的方法，如内存的分配、释放
3. SyncedMemory中内存的申请，是在数据访问时才分配而不是立马分配(通过enum SyncedHead状态实现)

SyncedMemory和Blob的关系

Blob中的主要数据成员如下，实际是在SyncedMemory上做了一层包装：

SyncedMemory

SyncedMemory 的主要数据成员如下：

1. SyncedMemory屏蔽了代码对不同硬件设备的内存分配的感知，同时隐藏了CPU和GPU之间的同步过程。
2. SyncedMemory采用“lazy”的模式，就是内存的实际申请时机是在第一次使用时进行的(通过枚举状态)。

首先看如下两个函数cpu_data， gpu_data获取cpu，gpu数据指针:

以cpu_data为例, 如果数据尚未分配(通过如下枚举判断)，则分配数据，如果已经分配则什么也不做：

SyncedMemory有如下接口，获取cpu中的数据指针(gpu同理)：

Blob中调用:

内存分配与释放

内存分配与释放由两个(不属于SyncedMemory类)的内联函数完成. 代码简单直观: 如果是CPU模式, 那么调用malloc和free来申请/释放内存, 否则调用CUDA的cudaMallocHost和cudaFreeHost来申请/释放显存.

caffe系列源码分析介绍

本系列深度学习框架caffe 源码分析主要内容如下：

1. caffe源码分析-cmake 工程构建:

caffe源码分析-cmake 工程构建主要内容:

自己从头构建一遍工程，这样能让我更好的了解大型的项目的构建。当然原始的caffe的构建感觉还是比较复杂(主要是cmake)，我这里仅仅使用cmake构建，而且简化点，当然最重要的是支持CLion直接运行调试（如果需要这个工程可以评论留下你的邮箱，我给你发送过去）。

2. caffe的数据内存分配类SyncedMemory， 以及类Blob数据传输的媒介.

主要内容：

caffe源码分析-SyncedMemory

caffe源码分析-Blob

其中Blob分析给出了其直接与opencv的图片相互转化以及操作，可以使得我们更好的理解Blob.

3. caffe layer的源码分析，包括从整体上说明了layer类别以及其proto定义与核心函数.

内容如下：

caffe源码分析-layer

caffe源码分析-ReLULayer

caffe源码分析-inner_product_layer

caffe源码分析-layer_factory

首先分析了最简单的layer Relu，然后在是inner_product_layer全连接层， 最后是layer_factorycaffe中 以此工厂模式create各种Layer.

4. 数据输入层，主要是多线程+BlockingQueue的方式读取数据训练：

内容如下：

caffe源码分析-BlockingQueue

caffe源码分析-InternalThread

caffe源码分析-DataReader

5. IO处理例如读取proto文件转化为网络，以及网络参数的序列化

内容如下：

caffe源码分析-DataTransformer

caffe源码分析-db, io

6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例

内容如下：

caffe c++示例（mnist 多层感知机c++训练，测试）

类似与caffe一样按照layer、solver、loss、net等模块构建的神经网络实现可以见下面这篇blog，相信看懂了这个python的代码理解caffe框架会更简单点.

神经网络python实现

最后如果需要**cmake** + CLion**直接运行调试**caffe**的代码工程，可以评论留下你的邮箱，我给你发送过去.**

参考：

https://www.jianshu.com/p/2e99bb0421c5

https://www.jianshu.com/p/b105578b214b