【深度学习思维导图】必备的基本概念和架构

深度学习11大概念:激活函数、反向传播算法、学习率、梯度下降等

概念一节下分为激活函数:反向传播算法、学习率、梯度下降和损失(最小化)目标(最大化)函数。

1. 激活函数。它根据一个输入或输入集,定义输出。主要有7大类:Relu、Sigmold/Logistc、Binary、Tanh、Softplus、Softmax、Maxout,当然还有其他。

2. 反向传播算法

这是在人工神经网络用于计算每个神经单元在接受一批数据后带来的误差的影响的一种方法,它计算损失函数的梯度,通常在梯度下降优化算法中使用。它也被称为误差的反向传播,因为误差是在输出中进行计算,然后通过神经网络曾反向分布。

3. 学习率

神经网络通常根据权重由梯度下降进行训练。这意味着,我们会使用反向传播来计算损失函数的误差,与每个权重进行对比,将之从权重中减掉。然而,如果你真的尝试了,权重将会变化太多,每次迭代,这将使他们“过度纠正”,损失实际上会增加/派生。所以在实践中,人们通常将每个派生乘以一个称为“学习率”的小值,然后将其从相应的权重中减去。

4. 梯度下降

是用于查找函数最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值,人们会在当前点向负数面调整函数的梯度(或近似梯度),如果相反,如果朝正数方向进行调整,则接近该函数的局部最大值。该程序随后被称为梯度上升。

5.权重初始化,分为三种:全零初始化、少量随机数字初始化和变量校准初始化。

6. 神经单元

7. 输入层

8. 隐藏层

9. 巴斯正则化

10. 梯度下降和损失(最小化)目标(最大化)函数

11. 正则化

架构: LSTM、GAN、Auto-ENcoder、CNN、RNN

架构这一部分,列举了LSTM、GAN、Auto-ENcoder、CNN、RNN和具体策略,其中策略部分又包括参数初始化和优化。

1. 前向

是一种人造神经网络,其中单元之间的连接不形成循环。在这个网络中,信息只从一个方向移动,从输入节点向前移动,通过隐藏节点(如果有的话)和输出节点。网络中没有周期或循环。

2. LSTM

3. GAN

4. Auto-Encoder

这是一种人工神经网络,用于无监督学习有效地编码。

5.CNN(卷积神经网络),它们被用于图像和视频中,可以进行识别、推荐系统和自然语言处理。

6. RNN(循环),可以使用网络内部的记忆,来处理连续的输入。

6.RNN(递归)

7. 策略:参数初始化和优化

TensorFlow

原文发布于微信公众号 - 机器人网(robot_globalsources)

原文发表时间:2018-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AlgorithmDog的专栏

EM算法原理和应用

EM算法是带隐变量概率模型的推断算法。今天我们介绍 EM 算法的原理和应用。我们先介绍推导出 EM 算法的一般方法,再介绍另一种 EM 算法推导方法...

529100
来自专栏机器学习算法原理与实践

梯度提升树(GBDT)原理小结

    在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度...

11550
来自专栏desperate633

小白也能看懂的BP反向传播算法之Further into Backpropagation

在上一篇文章小白也能看懂的BP反向传播算法之Let's practice Backpropagation,我们计算了一个带sigmoid函数的嵌套网络的反向传播...

11110
来自专栏marsggbo

Andrew Ng机器学习课程笔记--week7(SVM)

本周主要学习SVM 一、 内容概要 Large Margin Classification Optimization Objective(优化Objectiv...

22580
来自专栏梦里茶室

读论文系列:Object Detection ECCV2016 SSD

转载请注明作者:梦里茶 Single Shot MultiBox Detector Introduction 一句话概括:SSD就是关于类别的多尺度RPN...

33160
来自专栏新智元

【值得收藏的深度学习思维导图】全面梳理基本概念与11大模型关系

【新智元导读】 作者dformoso在Github上放出了自己绘制的深度学习思维导图,共有三张:基本概念、架构和TensorFlow。以图示的方法介绍深度学习必...

34130
来自专栏机器学习算法与Python学习

机器学习(6) -- SVM

本篇主要是对支持向量机(support vector machine , SVM) 总结性的文章,想详细的理解SVM的请看之前所发的支持向量机系列文章。 Co...

37950
来自专栏AI科技大本营的专栏

北大、北理工、旷视联手:用于图像语义分割的金字塔注意力网络

近日,北京理工大学、旷视科技、北京大学联手,发表了一篇名为 Pyramid Attention Network for Semantic Segmentatio...

13020
来自专栏机器学习养成记

神经网络-感知器

1986年,Rumelhart,Hinton,Williams受到医学界人脑神经网络的启发,提出了神经网络,从神经网络发展出的深度学习,更是成为了当前热点,在科...

32550
来自专栏老秦求学

【手把手系列之一】手写实现单层神经网络

训练集: \(X = [x^{(1)},x^{(2)},...,x^{(i)},....,x^{(m)}]\) ;对应标签:\(Y=[y^{(1)},y^{(2...

15620

扫码关注云+社区

领取腾讯云代金券