DL笔记:Neural Networks 神经网络

回顾 -DL笔记:机器学习和深度学习的区别

:听说深度学习的思想受到神经网络的启发,那是什么玩意儿?

:神经网络包括生物神经网络和人工神经网络。在生物神经网络中,每个神经元与其他神经元相连。它接收其他神经元的输入,当电位超过了某个阈值(threshold)而被「激活」时,会向相连的神经元「发射」(fire)信号。

:那跟机器学习有关系吗?机器没有生命啊……

Perceptrons 感知机

:参考生物神经网络,在计算机科学中,我们将独立的计算单元看做神经元。感知机 (Perceptron) 是神经网络的基本单位。每一个感知机都完成类似「给我一个数字,我告诉你它是正还是负」这样的简单任务。

比如说,我们把神经元看做包含一个 0 到 1 之间数字的小球:

神经元里面的数字叫激活函数 (Activation)。当数字超过某个阈值,比如说 0.5 时,我们就说这个神经元被激活了,它会输出 1 作为信号。如果神经元包含的数字小于 0.5,那它就输出 0,表示没有被激活。

这个神经元就是一个感知机。

一个感知机接收若干二进制输入,然后产生一个二进制输出:

:这小球长得倒是有那么一丢丢像神经元……

:在这个最简单的系统里,包含:

输入:这个神经元接收到的其他神经元的信号

判断器:激活函数

输出:1 表示 yes「发射」,0 表示 no「不发射」

:艾玛,这也叫简单?

:它其实是这个意思:

:好吧我错了……让我晕一晕

:其实主要看蓝色的字就好。神经元怎么计算输出呢?我们引入「权重」(weights),它表示从输入到输出的重要程度。权重的和如果大于阈值,就输出 1。

每一层神经元因为拥有上一层神经元的「经验」(上一层的输出),所以可以做出更抽象的「决策」。当我们把许多这样的神经元按一定的层次结构连接起来,就得到了人工神经网络(Artificial Neural Network)。

:ANN,那我可以叫它 安?

:你喜欢咯…… 其实所有的深度学习的神经网络,都可以抽象成三个部分:

除了输入和输出层,中间的层都叫隐层。深度神经网络就是隐层数量很多的神经网络,深度学习就是从多层神经网络中,自动学习出各种 pattern。

:666!能不能 input 废纸 output 比特币呀?

:……吃药时间到了

利用深度神经网络进行学习

:总结一下,对神经网络来说,输入层是数据集/变量,隐层是变量之间的关系(包含变量权重),形成高一级别的「模式」传递给下一个隐层,最后确定输出层的结果。

:为什么我总是听说「训练」神经网络好让它「学习」呢?

:训练神经网络的目标,其实就是计算和调整权重 weights,使得模型输出结果最接近真实的数据集。

:好抽象哦……

:举个例子,我们要预测房价的走势。假设知道房子大小可以预测房价,这个关系就可以用一个神经网络节点(node)来简单估计。

如果我们知道很多房子的信息怎么办呢?这时候就需要很多的节点,这些节点构成神经网络。房子的多种信息作为输入,房价的预测值作为输出,中间层(可以有多个)是用来计算出前面一层信息的权重,得出一定的模式,传导给下一层,直到最后得出预测值 y。

via:Neural Networks and Deep Learning Coursera

:好像有点明白了,让机器自己学习中间隐藏起来看不见的「规律」!

:再举个例子,图像识别是深度学习最广泛的应用之一,我们给系统看一张图,它能告诉我们这张图里有没有汪星人:

:哇,原来机器在背后做了这么多事情,我还以为机器都很聪明呢,原来它们只是比较勤奋哈哈哈

:你得到了它~

Ref

Neural networks and deep learning - http://neuralnetworksanddeeplearning.com/

Deep Learning Nanodegree Udacity - https://www.udacity.com/course/deep-learning-nanodegree-foundation--nd101

Neural Networks and Deep Learning Coursera - https://www.coursera.org/learn/neural-networks-deep-learning

本文来自企鹅号 - ArtxCode媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习

图像分类 | 深度学习PK传统机器学习

图像分类,顾名思义,是一个输入图像,输出对该图像内容分类的描述的问题。它是计算机视觉的核心,实际应用广泛。 图像分类的传统方法是特征描述及检测,这类传统方法可能...

3919
来自专栏杨熹的专栏

常用激活函数比较

本文结构: 什么是激活函数 为什么要用 都有什么 sigmoid ,ReLU, softmax 的比较 如何选择 ---- 1. 什么是激活函数 如下图,在神经...

4048
来自专栏人工智能LeadAI

SRU模型在文本分类中的应用

针对rnn网络训练速度较慢,不方便并行计算的问题,作者提出了一种SRU的网络,目的是为了加快网络的训练。

873
来自专栏智能算法

全卷积网络:从图像级理解到像素级理解

卷积神经网络(CNN):图像级语义理解的利器 自2012年AlexNet提出并刷新了当年ImageNet物体分类竞赛的世界纪录以来,CNN在物体分类、人脸识别、...

3588
来自专栏计算机视觉与深度学习基础

解读Batch Normalization

本文转载自:http://blog.csdn.net/shuzfan/article/details/50723877 本次所讲的内容为Batch Norm...

3328
来自专栏Brian

深度学习笔记-深度学习实战

1896
来自专栏郭耀华‘s Blog

批标准化(Batch Norm)

BN作用: 加速收敛 控制过拟合,可以少用或不用Dropout和正则 降低网络对初始化权重不敏感 允许使用较大的学习率 一、如何加速收敛? 通过归一化输入值/隐...

4164
来自专栏Deep learning进阶路

深度学习论文笔记(六)--- FCN-2015年(Fully Convolutional Networks for Semantic Segmentation)

深度学习论文笔记(六)--- FCN 全连接网络 FullyConvolutional Networks for Semantic Segmentation ...

5640
来自专栏深度学习与计算机视觉

TensorFlow 图像处理和解码操作函数概述

TensorFlow提供提供了42个图像处理相关的函数,主要涉及解码编码,简单的图像几何变换等等。比较有特点的一个方面是有很多随机性的操作,主要增加模型的泛化能...

2835
来自专栏深度学习

图像分类 | 深度学习PK传统机器学习

图像分类,顾名思义,是一个输入图像,输出对该图像内容分类的描述的问题。它是计算机视觉的核心,实际应用广泛。

44911

扫码关注云+社区