Python神经网络| 一篇很棒的实战笔记,附源码

建议阅读时间:5~10分钟

0 前言

感谢粉丝:疯琴,以下分享是疯琴在学习《Python神经网络》时的笔记,总结得很棒,感谢疯琴的乐于分享精神,相信这篇笔记一定会帮助到大家。

1 基本概念

神经网络也是机器学习的一种实现,可以应用在有监督学习和无监督学习,因为中间可以有较多层,所以属于深度学习方法。

神经网络的名字很唬人,其实概念挺朴素的,是由含一个输入层,一个输出层和若干隐藏层构成的有向无环图(这名字也唬人),看图像一目了然。

为啥叫隐藏层呢,就是因为和输入输出没关系,看不见,有点儿神秘。每层的每个结点借助生物的概念称为神经元,各层之间神经元相互链接。

2 神经网络训练过程

算法训练包含两个阶段:输入向输出传送叫前向馈送信号;输出向输入传送叫反向误差传播。把输入前馈计算得到输出,把输出与目标值比对,计算误差,把误差反向传播修正链接权重。具体过程:

  1. 输入层与隐藏层之间的链接权重”与“输入信号”加权求和,“和值”通过神经元函数(比如,阶跃函数,Relu函数,Sigmoid函数等)运算得到隐藏层的结果。
  2. 用与第一步相同的过程计算出输出层的结果。
  3. 目标值-输出值=误差。
  4. 将误差按权重反向传播给隐藏层。
  5. 用梯度下降法最小化误差,计算出误差调整值,初始误差+误差调整值=训练结果。

3 训练的注意点

  1. 初始权重未知,为了避免落入错误的山谷,随机选取多个起始点(初始权重)。
  2. 根据调整应用在信号上的神经元函数的斜率(也就是梯度)来调整权重。
  3. 梯度下降法最小化误差函数。
  4. 训练过程就是调整权重的过程,初始权重的设定要注意避免网络饱和。初始权重过大容易导致网络饱和,初始权重为0或者相等将导致丧失学习能力。
  5. 输入信号通常取值范围是0.01 ~ 0.99或-1.0 ~ 1.0,一个比较合适的输出取值范围0.01 ~ 0.99。

4 自己解决的困惑

1.12节反向传播误差到更多层中,最后一张图将误差传播到了输入层,这给我造成了困惑,想了大半天,因为在后面调整误差的时候只用到了隐藏层和输出层的误差,其实在三层的网络中,只需要用输出层误差计算Who和用隐藏层误差计算Wih,计算输入层的误差其实没有用,书中应该是借用这一步推导更明确一下传播误差的方法。

2.4.4节wih初始化时正态分布的标准差取1/sqrt(传入链接数目),代码中隐藏层传入链接数目用hnodes,输出层传入链接数目用onodes,我认为传入链接数目应该是上一层的结点数,所以分别应该是inodes和hnodes。

训练时cpu使用率40%,跑了一会以后升高到60%,临近计算结束又降到40%,不是一直跑满。

5 训练结果展示

MNIST手写数字识别结果如下:

原文发布于微信公众号 - Python与机器学习算法频道(alg-channel)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

卷积神经网络之卷积操作

深度学习是一个目前非常火热的机器学习分支,而卷积神经网络(CNN)就是深度学习的一个代表性算法。CNN主要用来解决图像相关的问题,目前,单张图片的识别问题已基本...

22470
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(四):卷积神经网络

16530
来自专栏机器学习、深度学习

统计学习导论 Chapter2--What Is Statistical Learning?

Book: An Introduction to Statistical Learning with Appli...

22880
来自专栏人工智能

课后作业(二):如何用一个只有一层隐藏层的神经网络分类Planar data

来源:sandipanweb 编译:Bot 编者按:之前,论智曾在TOP 10:初学者需要掌握的10大机器学习(ML)算法介绍了一些基础算法及其思路,为了与该帖...

20460
来自专栏机器学习算法与Python学习

神经网络

神经网络 来源:UFLDL教程 本文为神经网络综合系列的第一篇,通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为你工作,并学习如何应用/适应这些想法...

40770
来自专栏数据科学与人工智能

支持向量机算法

摘要 本文主要讲机器学习中一个非常重要的二类分类模型:支持向量机(Support Vector Machines)。文中主要讲解了SVM的三种模型:线性可分...

31850
来自专栏应兆康的专栏

机器学习概念:梯度下降

机器学习中大部分都是优化问题,大多数的优化问题都可以使用梯度下降/上升法处理,所以,搞清楚梯度算法就非常重要

61190
来自专栏机器学习算法与Python学习

Machine Learning -- GBDT(RF)

前言: 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等。但是同时, 单决策...

33950
来自专栏人工智能

线性神经网络

自适应线性元件也是早期的神经网络模型之一,其学习算法称为LMS(Least Mean Squares)算法。Adaline网络与感知器网络非常相似,只是神经元的...

21980
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(四):卷积神经网络

37370

扫码关注云+社区

领取腾讯云代金券