深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的
大纲:
报告第一部分:介绍深度学习
报告第二部分:关于训练深度神经网络的一些建议
报告第三部分:各种各样的神经网络
报告第四部分:下一股浪潮
报告1:深度学习介绍
深度学习有3步:神经网络架构--学习目标--学习。
这三个步骤都是以数据为基础的。
第3步:选择最佳的功能函数。
从原理上说,深度学习非常简单。
从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。
人类大脑的构成
神经网络:神经元
激活函数的工作原理
不同的连接会导致不同的网络结构
完全连接的反向网络:S型网络
极深网络:从8层到19层,一直到152层。
全连接的反向网络:矩阵系统
输出层(选择)
问题:
下图中,总共有多少层?每一层有多少个神经元?
结构能自动决定吗?
第二步:学习目标,定义函数拟合度。
例子:识别“2”
训练数据:
准备训练数据:图像和相应的标签
学习目标
损失:一个好的函数应该让所有例子中的损失降到最小。
全局损失
第三步:学习!选择最佳函数。
如何选择最佳函数
梯度下降
梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?
局部最小值:梯度下降从来不会保证可以获得全局最小值
反向传播
可以做什么?
第二部分:关于训练深度神经网络的一些小建议