专栏首页大数据文摘一名工程师对于深度学习的理解-神经网络基础ANN

一名工程师对于深度学习的理解-神经网络基础ANN

按要求转载自云栖社区

ID:yunqiinsight

作者 | doflamingo

读书期间对于深度学习也有涉及,不过只是皮毛,在这个数据和算法的时代,也需要更加贴近算法。于是从一名工程师角度出发,希望通过几篇文章,将深度学习基础记录下来,同时也是对于自己学习的总结和积累。总体思路是ANN-CNN-DNN,中间想起来有什么忘记的,也会加番。

神经网络概述

这是一张典型的人工神经网络的图,图中的节点称为神经元,图共分为三层,第一层为输入层,第二层为隐藏层,第三层为输出层。输入层接受外部世界的输入,具像化为图像的像素值,实体的特征值等,输出层概率预测结果,具像化为该图像是人像,该实体为潜在商家。

神经元

一个神经元将多个输入及其权值统一为下层节点的一个输入。例如:

而神经元一般都使用sigmoid函数,至于为什么使用sigmoid函数,也是个很有探讨意义的问题,具体可以看这篇文章了解sigmoid的特性,http://www.tuicool.com/articles/uMraAb。

其中,w表示权重向量,x表示输入向量,b为该节点的阈值。

那么下面问题就是如何选择合适的权重和阈值,构建出来合适的网络。

构建合适的网络

网络结构往往决定了算法复杂度和模型可调度,输出层主要由向量决定,输出层主要由预测类型决定,主要问题就在中间层数和节点数的选择上,节点数和层数越多意味着模型可调节性越强,预测结果的粒度越细,但同时也意味着计算复杂度越高。经验中间层一般选1-2层,节点数作为可调参数。

选择合适权重和阈值

首先,定义损失函数,损失函数的意义在于对于训练集评价预测结果和真实结果之间的差异:

该损失函数其实是预测结果与真实结果之间的方差

我们希望通过调整权重w和阈值b的值来使预测结果和真实结果之间的差更小。相当于在一个解空间中寻找最优解。解法有很多,如梯度下降法,拟牛顿法等。

梯度下降法

通过上述公式可以看出,对于损失函数的变化可以描述为损失在每个维度v上的变化值之和,用向量表示为

为了是损失更小而不是更大,损失的变化应该小于0,于是取

则,损失的下降可以表示为

反向传播

反向传播其实是对于当一次预测结束后,评估每个参数对于预测结果误差的贡献,并对其进行调整,调整方法可以通过损失函数对于权值的求导得到:

通过多次迭代,获得损失函数的极小值。步长决定了函数的收敛速度。

小结下:

人工神经网络就好像一个在陌生的城市迷路的孩子,每走一步都对该步进行评估,计算其到达目的地的可能性,并逐渐走到目的地。人工神经网络比较重要的有三部分:

1. 结构:层级网络 2. 求解方法:梯度下降 3. 求解思想:反向传播

本文分享自微信公众号 - 大数据文摘(BigDataDigest),作者:doflamingo

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 先发制人!东京工业大学开发AI预测系统,可预测0.5秒后的动作

    先不说抢占先机这件事情,如果你能够预测的对方接下来的动作,至少下面这种情况不会发生。

    大数据文摘
  • 姚期智领衔开设清华人工智能班,北大机器人专业开始招生

    5月18日清华大学和北京大学举办校园开放日活动,“人工智能”成为今年两校的关键词。清华新增“人工智能学堂班”,首批预计招生30人,而北大也将正式启动“机器人工程...

    大数据文摘
  • 黑无止境——Kcon 2015 黑客大会

    大数据文摘
  • 你不知道的Virtual DOM(一):Virtual Dom介绍

    目前最流行的两大前端框架,React和Vue,都不约而同的借助Virtual DOM技术提高页面的渲染效率。那么,什么是Virtual DOM?它是通过什么方式...

    Dickens
  • 你不知道的Virtual DOM(一):Virtual Dom介绍

    目前最流行的两大前端框架,React 和 Vue,都不约而同的借助 Virtual DOM 技术提高页面的渲染效率。那么,什么是 Virtual DOM?它是通...

    有赞coder
  • 如何在Ubuntu 16.04上部署支持HTTP/2的Nginx

    NGINX 是一个快速可靠的开源Web服务器。由于其内存占用空间小,可扩展性高,易于配置,并支持绝大多数协议,因此受到欢迎。 本教程将帮助您部署一个支持HTTP...

    疯狂的技术宅
  • 使用远程接口库进一步扩展Robot Framework的测试能力

    Robot Framework的四层结构已经极大的提高了它的扩展性。我们可以使用它丰富的扩展库来完成大部分测试工作。可是碰到下面两种情况,仅靠四层结构就不好使了...

    叉叉敌
  • Excel VBA解读(149): 数据结构—集合的基本操作

    除了Excel对象模型中已经有的集合对象外,我们还可以创建自已的集合。有两种方式。

    fanjy
  • Instagram 的持续部署实践

    在Instagram,我们每日部署后端代码的次数达30-50次,只要有工程师将修改内容提交到主服务器,部署就会进行,而且在大多情况下无需人工介入。这听起来也许很...

    CSDN技术头条
  • [剑指offer] 数组中重复的数字

    在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复...

    尾尾部落

扫码关注云+社区

领取腾讯云代金券