C++实现神经网络之一 | Net类的设计和神经网络的初始化

闲言少叙,直接开始

既然是要用C++来实现,那么我们自然而然的想到设计一个神经网络类来表示神经网络,这里我称之为Net类。由于这个类名太过普遍,很有可能跟其他人写的程序冲突,所以我的所有程序都包含在namespace liu中,由此不难想到我姓刘。在之前的博客反向传播算法资源整理中,我列举了几个比较不错的资源。对于理论不熟悉而且学习精神的同学可以出门左转去看看这篇文章的资源。这里假设读者对于神经网络的基本理论有一定的了解。

神经网络要素

在真正开始coding之前还是有必要交代一下神经网络基础,其实也就是设计类和写程序的思路。简而言之,神经网络的包含几大要素:

  • 神经元节点
  • 层(layer)
  • 权值(weights)
  • 偏置项(bias)

神经网络的两大计算过程分别是前向传播和反向传播过程。每层的前向传播分别包含加权求和(卷积?)的线性运算和激活函数的非线性运算。反向传播主要是用BP算法更新权值。 虽然里面还有很多细节,但是对于作为第一篇的本文来说,以上内容足够了。

Net——基于mat

神经网络中的计算几乎都可以用矩阵计算的形式表示,这也是我用OpenCV的Mat类的原因之一,它

提供了非常完善的、充分优化过的各种矩阵运算方法;另一个原因是我最熟悉的库就是OpenCV......有很多比较好的库和框架在实现神经网络的时候会用很多类来表示不同的部分。比如Blob类表示数据,Layer类表示各种层,Optimizer类来表示各种优化算法。但是这里没那么复杂,主要还是能力有限,只用一个Net类表示神经网络。

还是直接让程序说话,Net类包含在Net.h中,大致如下:

#ifndef NET_H
#define NET_H
#endif // NET_H
#pragma once
#include <iostream>
#include<opencv2\core\core.hpp>
#include<opencv2\highgui\highgui.hpp>
//#include<iomanip>
#include"Function.h"
namespace liu
{
   class Net
   {
   public:
       std::vector<int> layer_neuron_num;
       std::vector<cv::Mat> layer;
       std::vector<cv::Mat> weights;
       std::vector<cv::Mat> bias;
   public:
       Net() {};
       ~Net() {};
       //Initialize net:genetate weights matrices、layer matrices and bias matrices
       // bias default all zero
       void initNet(std::vector<int> layer_neuron_num_);
       //Initialise the weights matrices.
       void initWeights(int type = 0, double a = 0., double b = 0.1);
       //Initialise the bias matrices.
       void initBias(cv::Scalar& bias);
       //Forward
       void farward();
       //Forward
       void backward();
   protected:
       //initialise the weight matrix.if type =0,Gaussian.else uniform.
       void initWeight(cv::Mat &dst, int type, double a, double b);
       //Activation function
       cv::Mat activationFunction(cv::Mat &x, std::string func_type);
       //Compute delta error
       void deltaError();
       //Update weights
       void updateWeights();
   };
}

这不是完整的形态,只是对应于本文内容的一个简化版,简化之后看起来更加清晰明了。

成员变量与成员函数

现在Net类只有四个成员变量,分别是:

  • 每一层神经元数目(layerneuronnum)
  • 层(layer)
  • 权值矩阵(weights)
  • 偏置项(bias)

权值用矩阵表示就不用说了,需要说明的是,为了计算方便,这里每一层和偏置项也用Mat表示,每一层和偏置都用一个单列矩阵来表示。

Net类的成员函数除了默认的构造函数和析构函数,还有:

  • initNet():用来初始化神经网络
  • initWeights():初始化权值矩阵,调用initWeight()函数
  • initBias():初始化偏置项
  • forward():执行前向运算,包括线性运算和非线性激活,同时计算误差
  • backward():执行反向传播,调用updateWeights()函数更新权值。

这些函数已经是神经网络程序核心中的核心。剩下的内容就是慢慢实现了,实现的时候需要什么添加什么,逢山开路,遇河架桥。

神经网络初始化——initNet()函数

先说一下initNet()函数,这个函数只接受一个参数——每一层神经元数目,然后借此初始化神经网络。这里所谓初始化神经网络的含义是:生成每一层的矩阵、每一个权值矩阵和每一个偏置矩阵。听起来很简单,其实也很简单。

实现代码在Net.cpp中:

   //Initialize net
   void Net::initNet(std::vector<int> layer_neuron_num_)
   {
       layer_neuron_num = layer_neuron_num_;
       //Generate every layer.
       layer.resize(layer_neuron_num.size());
       for (int i = 0; i < layer.size(); i++)
       {
           layer[i].create(layer_neuron_num[i], 1, CV_32FC1);
       }
       std::cout << "Generate layers, successfully!" << std::endl;
       //Generate every weights matrix and bias
       weights.resize(layer.size() - 1);
       bias.resize(layer.size() - 1);
       for (int i = 0; i < (layer.size() - 1); ++i)
       {
           weights[i].create(layer[i + 1].rows, layer[i].rows, CV_32FC1);
           //bias[i].create(layer[i + 1].rows, 1, CV_32FC1);
           bias[i] = cv::Mat::zeros(layer[i + 1].rows, 1, CV_32FC1);
       }
       std::cout << "Generate weights matrices and bias, successfully!" << std::endl;
       std::cout << "Initialise Net, done!" << std::endl;

}

这里生成各种矩阵没啥难点,唯一需要留心的是权值矩阵的行数和列数的确定。值得一提的是这里把权值默认全设为0。

权值初始化——initNet()函数

权值初始化函数initWeights()调用initWeight()函数,其实就是初始化一个和多个的区别。

   //initialise the weights matrix.if type =0,Gaussian.else uniform.
   void Net::initWeight(cv::Mat &dst, int type, double a, double b)
   {
       if (type == 0)
       {
           randn(dst, a, b);
       }
       else
       {
           randu(dst, a, b);
       }
   }
   //initialise the weights matrix.
   void Net::initWeights(int type, double a, double b)
   {
       //Initialise weights cv::Matrices and bias
       for (int i = 0; i < weights.size(); ++i)
       {
           initWeight(weights[i], 0, 0., 0.1);
       }
   }

偏置初始化是给所有的偏置赋相同的值。这里用Scalar对象来给矩阵赋值。

   //Initialise the bias matrices.
   void Net::initBias(cv::Scalar& bias_)
   {
       for (int i = 0; i < bias.size(); i++)
       {
           bias[i] = bias_;
       }

    }

至此,神经网络需要初始化的部分已经全部初始化完成了。

初始化测试

我们可以用下面的代码来初始化一个神经网络,虽然没有什么功能,但是至少可以测试下现在的代码是否有BUG:

#include"../include/Net.h"
//<opencv2\opencv.hpp>
using namespace std;
using namespace cv;
using namespace liu;
int main(int argc, char *argv[])
{
 //Set neuron number of every layer
 vector<int> layer_neuron_num = { 784,100,10 };
 // Initialise Net and weights
   Net net;
   net.initNet(layer_neuron_num);
   net.initWeights(0, 0., 0.01);
   net.initBias(Scalar(0.05));
   getchar();
 return 0;
}

亲测没有问题。

本文先到这里,前向传播和反向传播放在下一篇内容里面。所有的代码都已经托管在Github上面,感兴趣的可以去下载查看。欢迎提意见。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-01-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ios 技术积累

ios 扩大UIButton点击范围

先了解Hit-Test请看上一篇文章 https://www.jianshu.com/writer#/notebooks/4989829/notes/3314...

1012
来自专栏技术总结

金额跳动动画效果

773
来自专栏一个会写诗的程序员的博客

On the Rise of Kotlin

It’s rare when a highly structured language with fairly strict syntax sparks emo...

542
来自专栏陈满iOS

iOS框架·Masonry源码深度解析及学习启示:设计模式与链式编程思想

可见,系统传统的代码布局有点繁琐。为了简化上述传统布局代码,被广泛应用的第三方框架 Masonry 对AutoLayout 进行了封装,Swift版则是 Sna...

722
来自专栏海天一树

小朋友学C++(10):子类构造函数调用父类构造函数

从哲学层面来看,子类会继承父类除private以外的所有成员。 因为构造函数是公有的,所以理所当然地会被子类继承。 程序1: #include <iostrea...

2686
来自专栏上善若水

014 linux 命令行工具jq

795
来自专栏desperate633

LintCode 形状工厂题目代码

工厂模式是一种常见的设计模式。实现一个形状工厂 ShapeFactory 来创建不同的形状类。这里我们假设只有三角形,正方形和矩形三种形状。

722
来自专栏菩提树下的杨过

java中的tuple实现

java中没有类似c#、scala中的tuple元组类,只能自己动手,丰衣足食了,见下面的代码: Tuple 抽象类 1 import java.util.O...

1785
来自专栏菩提树下的杨过

objective-C 的OOP(上)--类定义、继承及方法调用

上一篇展示了如何用传统的“面向过程编程方法”,实现画“矩形”、“圆”、“椭圆”,这一篇看下如何改用OOP的方法来实现: ? 因为要用到“颜色”以及“矩形区域”二...

1568
来自专栏移动开发面面观

iOS自动布局——Masonry详解

1452

扫码关注云+社区