专栏首页机器学习AI算法工程深度神经网络基本问题的原理详细分析和推导

深度神经网络基本问题的原理详细分析和推导

目录

  • 神经网络算法的直观了解
    • 21 表征假设和激活函数
    • 1 神经网络过程描述
    • 2 神经网络相关的几个问题
    • 22 结构设计Architecture Design
    • 23 代价函数Cost Function和优化目标Optimization objective
    • 24 如何进行优化
    • 3 参考资料
  • 前馈传播和结构设计
    • 11 本章节说明
    • 12 通用逼近定理的严谨表述
    • 12 从非线性讲起为什么使用激活函数
    • 13 前馈网络拟合函数过程
    • 2 前馈网络进行逼近的拟合过程
    • 121 来自Approximation by Superpositions of a Sigmoidal Function这篇论文的观点
    • 121 来自On the Number of Linear Regions of Deep Neural Networks这篇论文的观点
    • 11 以sigmoid为例
    • 11 ReLU的拟合
    • 1 通用逼近性质理论Universal Approximation PropertiesTheorem神经网络可以逼近任意函数
    • 3 关于通用逼近定理的补充说明
    • 4 参考资料
  • 目标优化
    • 11 从单变量函数开始
    • 12 多元函数的梯度下降
    • 2 学习率learning rate的选择
    • 1 基于梯度的目标优化
    • 3 其他优化算法
    • 4 参考资料
  • 基于梯度的神经网络优化
    • 31 BP算法的定义理解误区
    • 32 预备知识
    • 33 深度神经网络中递归使用链式法则
    • 34 反向传播算法的伪代码
    • 35 补充基于计算图的更通用的反向传播伪代码
    • 361 反向传播过程
    • 321 张量tensor
    • 322 微积分中的链式法则和其在高维度的推广
    • 341 基于全连接的多层感知机的伪代码
    • 351 上一节的代码的改进空间
    • 351 计算图Computational Graphs
    • 352 举例说明
    • 21 广义线性模型generalized linear model GLM
    • 22 广义线性模型
    • 23 伯努利分布Bernoulli Distributions和Sigmoid 函数单元
    • 24 其他输出层的激活函数单元
    • 241 多项分布和广义线性模型
    • 242 其他分布和对应单元
    • 25 本节其他参考资料
    • 211 指数族Exponential family or Exponential class
    • 221 广义线性模型的直观解释从线性模型讲起
    • 222 数学定义
    • 231 伯努利分布和广义线性模型
    • 232 sigmoid为激活函数的交叉熵代价函数的推导后续
    • 233 梯度下降法的进一步推导交叉熵解决函数饱和saturates问题
    • 11 极大似然法和交叉熵Maximum Likelihood Estimation
    • 12 交叉熵cross-entropy error代价函数
    • 122 交叉熵代价函数
    • 123 交叉熵代价函数的好处
    • 13 本节其他参考资料
    • 111概率统计知识总体样本随机变量独立同分布参数估计
    • 112 极大思然估计
    • 121 交叉熵相对熵KL散度的概念
    • 1 目标函数的表达式模型的确定
    • 2 选择概率分布模型和对应的输出单元
    • 3 多层网络的梯度如何获得
    • 4 参考资料
  • 前馈传播过程隐藏层激活函数
    • 31 logistic Sigmoid
    • 32 双曲切线函数tanh
    • 21 ReLu
    • 22 ReLU的扩展
    • 23 ReLU的设计原则
    • 1 激活函数期待具有的性质
    • 11 非线性
    • 12 只有有限个离散点不可微non-differentiability
    • 13 有限范围
    • 14 接近恒等函数
    • 2 线性整流单元Rectified Linear Units和其衍生单元
    • 3 Logistic Sigmoid 和 Hyperbolic Tangent
    • 4 参考资料

本文分享自微信公众号 - 机器学习AI算法工程(datayx)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 麻省理工HAN Lab | ProxylessNAS自动为目标任务和硬件定制高效CNN结构(文末论文及源码)

    今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题,改进搜索策略,一定程度上解决资源消耗的问题。其主要是基于DARTs改的,那就先谈谈DARTs...

    计算机视觉战队
  • 细数人工智能和人类智能的十大不同

    导读:人工智能和人类智能究竟有何不同之处呢?在本文中Sabine Hossenfelder 就从十个方面分析了这两者间的不同。

    CDA数据分析师
  • 深度学习入门,一文讲解神经网络的构成、训练和算法

    人工神经网络(Artificial Neural Network,ANN),简称神经网络(Neural Network,NN),是一种模仿生物神经网络的结构和功...

    Datawhale
  • 「首席架构师推荐」文本挖掘软件列表

    文本挖掘,也称为文本数据挖掘,大致相当于文本分析,是指从文本中获取高质量信息的过程。高质量的信息通常是通过设计模式和趋势通过统计模式学习等手段获得的。

    首席架构师智库
  • 机器学习领域必知必会的12种概率分布(附Python代码实现)

    机器学习有其独特的数学基础,我们用微积分来处理变化无限小的函数,并计算它们的变化;我们使用线性代数来处理计算过程;我们还用概率论与统计学建模不确定性。在这其中,...

    Datawhale
  • 利用PCA来降维

    想象这样一种场景:我们通过电视直播观看足球比赛,电视屏幕大概有200万像素,假设我们关注的是任意时刻足球的位置。在这一场景中,人们实时地将屏幕上的百万级像素转换...

    用户6021899
  • Generative Adversarial Networks

    上一篇讲述了VAEs(变分自编码器),那么这次继续学习一下另一个生成模型——GANs。这里建议如果没有看VAEs的请点击传送门:,因为有所关联,所以如果直接看这...

    可爱见见
  • 你跳宅舞的样子很专业:不,这都是AI合成的结果

    想展示自己的完美舞姿吗?你现在只需要一段别人跳舞的视频,和自己的一张照片。最近,来自上海科技大学和腾讯 AI Lab 的新研究着实让很多人跃跃欲试。

    CDA数据分析师
  • 腾讯人工智能师资培训通知 | 人工智能人才培养

    为推动中国人工智能行业的发展,促进专业人才培养,以及推进人工智能领域一级学科建设,联盟联合腾讯公司定于2019年10-11月期间在华北、华南、西北三大区域开展...

    腾讯高校合作
  • 吴恩达:关于机器学习职业生涯以及阅读论文的一些建议

    既然你已经在阅读这篇文章了,那么你可能已经知道该领域的先驱之一Andrew Ng是谁,并且你可能对会对他关于如何建立机器学习职业生涯的建议感兴趣。

    Datawhale

扫码关注云+社区

领取腾讯云代金券