专栏首页决胜机器学习机器学习(十一) ——神经网络基础

机器学习(十一) ——神经网络基础

机器学习(十一)——神经网络基础

(原创内容,转载请注明来源,谢谢)

一、概述

神经网络,可以理解为输入的内容,经过一系列的内部的处理,得到输出的假设函数。简单的神经网络如下图:

可以看出,三个输入,经过中间的变化,得到输出。中间橙色的圈,称为神经元。神经元可以分层,下图是三层神经网络模型:

其中,第一层蓝色的圈,叫做输入层;中间一层橙色的圈叫做隐藏层;右边的橙色圈叫做输出层。神经网络有一个输入层和一个输出层,隐藏层可以有多层。神经元的连接方式,称为神经网络的架构。

二、基本公式

上图的三层神经网络,ai(j)表示的是第j层、第i个变量。每个变量都是由上一层计算得到的,计算公式如下图:

用zi(j)表示对应的ai(j)的式子中的g函数内部的式子,可以看出,神经元实质上就是输入的变量经过若干个线性变换,得到输出。

上图的xi,都省略了x0,x0一直都是1。另外,g(z)即logistic回归中的g(z)函数,即g(z)=1/(1+e-θTx)

三、具体例子

现要使用神经网络实现与、或、非、异或的逻辑运算。

1、与

假设有两个特征值x1、x2,他们的取值范围是0或1,y=x1&&x2,由g(z)的公式,可以大致推导出,z=4时y约等于1,z=-4时y约等于0。则可以假设h(x)=g(z)=g(-30+20x1+20x2)(其中x0=1),神经网络如下图所示:

则此时即表示实现了一个具有“与”功能的神经元。

2、或

类似与,或可以用如下假设方式:

3、非

非的表示方式如下:

4、非异或

非异或(XNOR),即异或的结果再进行非操作。此时,用到了三层的神经网络,中间一层是隐藏层,用于计算异或,并把结果传到第三层进行处理后输出。

根据异或的公式,可以知道x1XOR x2,则x1或x2中1个是1的时候结果是1,否则是0,则XNOR则是x1和x2都是1,或者x1和x2都不是1的情况。

因此,第二层,则计算了x1和x2都是1,或者x1和x2都不是1的情况。分别是红色的圈和蓝色的圈的表示。

第三层进行或运算,接收第二层的结果。

四、多变量情况

多变量情况,类似上面的内容,下面是例如要区分一个图片是轿车、人、摩托车、卡车的简易神经网络(没有具体过程,就是粗略模型)。

实际上,就是将输入的图片的像素点,经过若干隐藏层的处理后,进行输出。

——written by linhxx 2018.01.09

本文分享自微信公众号 - 决胜机器学习(phpthinker),作者:linhxx

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 神经网络和深度学习(一) ——深度学习概述

    神经网络和深度学习(一)——深度学习概述 (原创内容,转载请注明来源,谢谢) 一、监督学习与神经网络 监督学习可以在一些地方应用,包括房价预测、广告精准定位...

    用户1327360
  • 神经网络和深度学习(四) ——浅层神经网络的激活函数与反向传播

    神经网络和深度学习(四)——浅层神经网络的激活函数与反向传播 (原创内容,转载请注明来源,谢谢) 一、神经网络的表示 复习一下神经网络的表示,其主要是将单层...

    用户1327360
  • 神经网络和深度学习(三) ——浅层神经网络的表示与输出

    神经网络和深度学习(三)——浅层神经网络的表示与输出 (原创内容,转载请注明来源,谢谢) 一、神经网络的表示 神经网络,实质上是一些输入,经过多层神经元的处理...

    用户1327360
  • 【学术】从零开始,教你如何编写一个神经网络分类器

    高水平的深度学习库,如TensorFlow,Keras和Pytorch,通过隐藏神经网络的许多乏味的内部工作细节,使深度学习从业者的生活变得更容易。尽管这是深度...

    AiTechYun
  • DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络

    一、深层神经网络 深层神经网络的符号与浅层的不同,记录如下: ? 用\(L\)表示层数,该神经网络\(L=4\) \(n^{[l]}\)表示第\(l\)层的神经...

    marsggbo
  • JNI--c/c++调用Java方法

    aruba
  • Marcus十大理由质疑深度学习?LeCun说大部分错了

    大数据文摘
  • Find the Duplicate Number

    Tyan
  • 西安交大获得DAC19系统设计竞赛FPGA赛道亚军,这里是他们的设计方案

    2019 年 6 月 5 日,由自动化设计顶级会议 Design Automation Conference(DAC'2019, CCF A 类会议)主办的第二...

    机器之心
  • 数字问题-LeetCode 462、463、473、474、475、476、477、482(二分)

    LeetCode # 462 463 473 474 475 476 477 482

    算法工程师之路

扫码关注云+社区

领取腾讯云代金券