专栏首页机器人网【深度学习思维导图】必备的基本概念和架构

【深度学习思维导图】必备的基本概念和架构

深度学习11大概念:激活函数、反向传播算法、学习率、梯度下降等

概念一节下分为激活函数:反向传播算法、学习率、梯度下降和损失(最小化)目标(最大化)函数。

1. 激活函数。它根据一个输入或输入集,定义输出。主要有7大类:Relu、Sigmold/Logistc、Binary、Tanh、Softplus、Softmax、Maxout,当然还有其他。

2. 反向传播算法

这是在人工神经网络用于计算每个神经单元在接受一批数据后带来的误差的影响的一种方法,它计算损失函数的梯度,通常在梯度下降优化算法中使用。它也被称为误差的反向传播,因为误差是在输出中进行计算,然后通过神经网络曾反向分布。

3. 学习率

神经网络通常根据权重由梯度下降进行训练。这意味着,我们会使用反向传播来计算损失函数的误差,与每个权重进行对比,将之从权重中减掉。然而,如果你真的尝试了,权重将会变化太多,每次迭代,这将使他们“过度纠正”,损失实际上会增加/派生。所以在实践中,人们通常将每个派生乘以一个称为“学习率”的小值,然后将其从相应的权重中减去。

4. 梯度下降

是用于查找函数最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值,人们会在当前点向负数面调整函数的梯度(或近似梯度),如果相反,如果朝正数方向进行调整,则接近该函数的局部最大值。该程序随后被称为梯度上升。

5.权重初始化,分为三种:全零初始化、少量随机数字初始化和变量校准初始化。

6. 神经单元

7. 输入层

8. 隐藏层

9. 巴斯正则化

10. 梯度下降和损失(最小化)目标(最大化)函数

11. 正则化

架构: LSTM、GAN、Auto-ENcoder、CNN、RNN

架构这一部分,列举了LSTM、GAN、Auto-ENcoder、CNN、RNN和具体策略,其中策略部分又包括参数初始化和优化。

1. 前向

是一种人造神经网络,其中单元之间的连接不形成循环。在这个网络中,信息只从一个方向移动,从输入节点向前移动,通过隐藏节点(如果有的话)和输出节点。网络中没有周期或循环。

2. LSTM

3. GAN

4. Auto-Encoder

这是一种人工神经网络,用于无监督学习有效地编码。

5.CNN(卷积神经网络),它们被用于图像和视频中,可以进行识别、推荐系统和自然语言处理。

6. RNN(循环),可以使用网络内部的记忆,来处理连续的输入。

6.RNN(递归)

7. 策略:参数初始化和优化

TensorFlow

本文分享自微信公众号 - 机器人网(robot_globalsources)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 新技术可让数控机床变身3D打印机

    这是很多机器人硬件爱好者心中最珍贵的两种技术——数控机床和3D打印机——的结晶。据3DPrint.com报道,印第安纳波利斯的Hurco公司最近为其一个适配器申...

    机器人网
  • 五种适合在Apple Watch上玩的游戏

    ---- Apple Watch很快就要到大家手里了(某些人),我们很快就可以用它收邮件,计算卡路里,发送自己的心跳去吓唬朋友——这一切都来自一只舒适的腕表。...

    机器人网
  • 深度学习的前身,神经网络与神经元的概念

    作者:Free 深度学习可以说是目前“人工智能浪潮”火热的一个根本原因,就是因为它的兴起,其中包括深度神经网络、循环神经网络和卷积神经网络的突破,让语音识别、...

    机器人网
  • 【值得收藏的深度学习思维导图】全面梳理基本概念与11大模型关系

    【新智元导读】 作者dformoso在Github上放出了自己绘制的深度学习思维导图,共有三张:基本概念、架构和TensorFlow。以图示的方法介绍深度学习必...

    新智元
  • 第四课反向传播算法与神经网络(一)

    Stanford深度学习课程第四课反向传播算法与神经网络(一) 预备知识 我们不直接介绍课程内容,首先介绍一些预备知识,这样可以更好的理解课程内容。下面我们介绍...

    企鹅号小编
  • 机器学习笔记之梯度下降算法原理讲解

    梯度下降(gradient descent)在机器学习中应用十分的广泛,不论是在线性回归还是Logistic回归中,它的主要目的是通过迭代找到目标函数的最小值,...

    Jetpropelledsnake21
  • 护网杯pwn——huwang超详细wp

    比赛结束快一个星期了,复现了一下这道题,借鉴了一下网上的wp发现大佬们写的都很简略,所以这里写一个详细的wp供小白们学习。

    安恒网络空间安全讲武堂
  • C++基础系列の函数

    前几天我们讲了一下C++中的函数,不过还有一部分没有讲完,今天我们继续讨论一下。如果你没有看过那篇文章,可以点击右边的链接前往:C++の函数

    leoay
  • 梯度消失和梯度爆炸原因及其解决方案

    当我们需要解决一个非常复杂的问题,例如在高分辨率图像中检测数百种类型的对象,我们可能需要训练一个非常深的DNN,可能需要几十层或者上百层,每层包含数百个神经元,...

    于小勇
  • Python机器学习算法入门之梯度下降法实现线性回归

    專 欄 ❈ ZZR,Python中文社区专栏作者,OpenStack工程师,曾经的NLP研究者。主要兴趣方向:OpenStack、Python爬虫、Pytho...

    Python中文社区

扫码关注云+社区

领取腾讯云代金券