跬步神经网络2-C++简单实现

导语 不考虑性能,用c++简单实现NN网络,通过训练预测 XOR、AND、OR

目录

跬步神经网络1-基本模型解析

跬步神经网络2-C++简单实现

跬步神经网络3-MNIST手写库初步识别

跬步1 了解了bp神经网络的原理,这次动手实践。

代码在这里: https://git.coding.net/yj_3000/SimpleNN.git                       xcode工程,需要设置一下开发者账号                       windows是vs2012的工程

**代码大致结构: **主要包括3个类,Session、Layer 和 Unit。 Session 代表一套NN网络,可以配置激活函数、损失函数、数据填充方法等 Layer 代表网络中的一层,包含一个或者多个Unit Unit 代表神经元,实现了  UpdateO(更新输出值)    UpdateE(更新Error)                                           UpdateB(更新Bias)        UpdateW(更新权重)

简单训练方法: 1. 设置 input 所有 unit的 输出值 和 output 所有 unit 的目标值 2. 正向依次调用所有 unit 的 updateO 3. 反向依次调用所有 unit 的 updateE updateB updateW 4. 重复 epochs 次

目前实现了3种激活函数: logistic、tanh、relu

测试1 - (LogicFitting::run) : 1. 建立 2,2,1的网络,随机填充 2. 使用相同的网络、相同的参数(lr=0.013),设置不同的激活函数,开始训练 XOR 3. 退出条件          1)训练次数达到上限          2)预测结果与目标值的距离小于 0.01 结果如下图, 1) lr=0.013时, relu 表现最好

2)lr=0.3时, relu训练次数以内,没有达到要求

3)lr=0.9时, relu和tanh训练次数以内,都没有达到要求

测试2 - (LogicFitting::run1) : 1. 使用相同的网络, 调整 lr,看结果,     relu 在 lr > 0.33 之后就再也没有成功过,     尝试设置 lr = 0.31 ,然后多次随机填充网络,都会失败,无法成功     relu 太容易 die 了     这也引出另外一个问题,如何动态调整 lr

下一步打算使用 mnist 上的手写数字数据库,做识别手写数字的联系, 如果训练性能跟不上,尝试把一般的网络优化方式都实现,看看效果

这里借一张图: https://www.youtube.com/watch?v=yKKNr- QKz2Q&index=3&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49

蓝色线,表示 lr 太小,导致梯度下降很慢,有生之年系列 红色刚刚好 绿色比较尴尬,出现循环,         栗子(y=xx  y’=2x   想通过梯度下降求极小值, lr=1   x初始值是1,x1=1-1y’(1)=-1)         x会一直在 -1 和 1之间摇摆 黄色是lr设置太大,直接越过最低点

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏python读书笔记

python 数据分析基础 day19-使用statsmodels进行逻辑回归

今天是读《python数据分析基础》的第19天,读书笔记内容为使用statsmodels进行逻辑回归。 以下代码将按数据清洗、训练模型、得出测试集的预测值这三...

5657
来自专栏数据科学学习手札

(数据科学学习手札08)系统聚类法的Python源码实现(与Python,R自带方法进行比较)

聚类分析是数据挖掘方法中应用非常广泛的一项,而聚类分析根据其大体方法的不同又分为系统聚类和快速聚类,其中系统聚类的优点是可以很直观的得到聚类数不同时具体类中包括...

2405
来自专栏AI科技评论

开发 | 谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

AI科技评论消息:日前,Google Research Blog 推出开源 Python库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势...

2675
来自专栏闪电gogogo的专栏

tensorflow

1831
来自专栏AI研习社

谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

日前,Google Research Blog 推出开源 Python 库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势,可以大大改善了...

3415
来自专栏程序生活

斯坦福tensorflow教程-tensorflow 实现逻辑回归03_logreg_placeholder.py实验结果utils.py

1643
来自专栏点滴积累

使用Python以优雅的方式实现根据shp数据对栅格影像进行切割

一、前言        前面一篇文章(使用Python实现子区域数据分类统计)讲述了通过geopandas库实现对子区域数据的分类统计,说白了也就是如何根据一个...

53810
来自专栏机器之心

教程 | 如何通过PyTorch上手Tensor Comprehensions?

选自pytorch 作者:Priya Goyal等 机器之心编译 参与:乾树、黄小天 Tensor Comprehensions 是一个降低高性能代码编写门槛的...

2687
来自专栏人工智能LeadAI

解析Tensorflow官方PTB模型的demo

01 seq2seq代码案例解读 RNN 模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型。在Tensorflow的官方教程中,有两个与...

4248
来自专栏大数据挖掘DT机器学习

R语言vs Python:数据分析哪家强?

本文章旨在更客观地看待这两门语言。我们会平行使用Python和R分析一个数据集,展示两种语言在实现相同结果时需要使用什么样的代码。这让我们了解每种语言的优缺点,...

48611

扫码关注云+社区