【报告】一篇文章详解深度学习的原理和运用

深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支，深度学习根源于类神经网络 ( Artificial Neural Network ) 模型，但今日深度学习的技术和它的前身已截然不同，目前最好的语音识别和影像辨识系统都是以深度学习技术来完成，你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如：最近红遍大街小巷的 AlphaGo )，听完以后觉得心痒痒的，想要赶快使用这项强大的技术，却不知要从何下手学习，那这门课就是你所需要的

大纲：

报告第一部分：介绍深度学习

报告第二部分：关于训练深度神经网络的一些建议

报告第三部分：各种各样的神经网络

报告第四部分：下一股浪潮

报告1：深度学习介绍

深度学习有3步：神经网络架构--学习目标--学习。

这三个步骤都是以数据为基础的。

　　第3步：选择最佳的功能函数。

从原理上说，深度学习非常简单。

从函数的角度理解深度学习：第一步，是一个函数集；第二步，定义函数的拟合度；第三部，选择最佳函数。

人类大脑的构成

神经网络：神经元

激活函数的工作原理

不同的连接会导致不同的网络结构

完全连接的反向网络：S型网络

极深网络：从8层到19层，一直到152层。

全连接的反向网络：矩阵系统

　　输出层（选择）

问题：

下图中，总共有多少层？每一层有多少个神经元？

结构能自动决定吗？

第二步：学习目标，定义函数拟合度。

　　例子：识别“2”

训练数据：

准备训练数据：图像和相应的标签

学习目标

损失：一个好的函数应该让所有例子中的损失降到最小。

全局损失

第三步：学习！选择最佳函数。

　　如何选择最佳函数

　　梯度下降

梯度下降：综合多个参数考虑的时候，你发现什么问题了吗？

局部最小值：梯度下降从来不会保证可以获得全局最小值

　　反向传播

可以做什么？

第二部分：关于训练深度神经网络的一些小建议