深度神经网络基本问题的原理详细分析和推导

目录

• 神经网络算法的直观了解
  • 21 表征假设和激活函数
  • 1 神经网络过程描述
  • 2 神经网络相关的几个问题
  • 22 结构设计Architecture Design
  • 23 代价函数Cost Function和优化目标Optimization objective
  • 24 如何进行优化
  • 3 参考资料
• 前馈传播和结构设计
  • 11 本章节说明
  • 12 通用逼近定理的严谨表述
  • 12 从非线性讲起为什么使用激活函数
  • 13 前馈网络拟合函数过程
  • 2 前馈网络进行逼近的拟合过程
  • 121 来自Approximation by Superpositions of a Sigmoidal Function这篇论文的观点
  • 121 来自On the Number of Linear Regions of Deep Neural Networks这篇论文的观点
  • 11 以sigmoid为例
  • 11 ReLU的拟合
  • 1 通用逼近性质理论Universal Approximation PropertiesTheorem神经网络可以逼近任意函数
  • 3 关于通用逼近定理的补充说明
  • 4 参考资料
• 目标优化
  • 11 从单变量函数开始
  • 12 多元函数的梯度下降
  • 2 学习率learning rate的选择
  • 1 基于梯度的目标优化
  • 3 其他优化算法
  • 4 参考资料
• 基于梯度的神经网络优化
  • 31 BP算法的定义理解误区
  • 32 预备知识
  • 33 深度神经网络中递归使用链式法则
  • 34 反向传播算法的伪代码
  • 35 补充基于计算图的更通用的反向传播伪代码
  • 361 反向传播过程
  • 321 张量tensor
  • 322 微积分中的链式法则和其在高维度的推广
  • 341 基于全连接的多层感知机的伪代码
  • 351 上一节的代码的改进空间
  • 351 计算图Computational Graphs
  • 352 举例说明
  • 21 广义线性模型generalized linear model GLM
  • 22 广义线性模型
  • 23 伯努利分布Bernoulli Distributions和Sigmoid 函数单元
  • 24 其他输出层的激活函数单元
  • 241 多项分布和广义线性模型
  • 242 其他分布和对应单元
  • 25 本节其他参考资料
  • 211 指数族Exponential family or Exponential class
  • 221 广义线性模型的直观解释从线性模型讲起
  • 222 数学定义
  • 231 伯努利分布和广义线性模型
  • 232 sigmoid为激活函数的交叉熵代价函数的推导后续
  • 233 梯度下降法的进一步推导交叉熵解决函数饱和saturates问题
  • 11 极大似然法和交叉熵Maximum Likelihood Estimation
  • 12 交叉熵cross-entropy error代价函数
  • 122 交叉熵代价函数
  • 123 交叉熵代价函数的好处
  • 13 本节其他参考资料
  • 111概率统计知识总体样本随机变量独立同分布参数估计
  • 112 极大思然估计
  • 121 交叉熵相对熵KL散度的概念
  • 1 目标函数的表达式模型的确定
  • 2 选择概率分布模型和对应的输出单元
  • 3 多层网络的梯度如何获得
  • 4 参考资料
• 前馈传播过程隐藏层激活函数
  • 31 logistic Sigmoid
  • 32 双曲切线函数tanh
  • 21 ReLu
  • 22 ReLU的扩展
  • 23 ReLU的设计原则
  • 1 激活函数期待具有的性质
  • 11 非线性
  • 12 只有有限个离散点不可微non-differentiability
  • 13 有限范围
  • 14 接近恒等函数
  • 2 线性整流单元Rectified Linear Units和其衍生单元
  • 3 Logistic Sigmoid 和 Hyperbolic Tangent
  • 4 参考资料