前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >《机器学习技法》学习笔记13——深度学习

《机器学习技法》学习笔记13——深度学习

作者头像
小爷毛毛_卓寿杰
发布2019-02-13 11:27:16
3960
发布2019-02-13 11:27:16
举报
文章被收录于专栏:Soul Joy Hub

http://blog.csdn.net/u011239443/article/details/76692801

深度神经网络

浅层神经网络

深层神经网络

更加有效的训练

难以训练

更简单的结构选择

复杂的结构选择

更具有理论依据,但可能难以提取特征

更加武断的依据,简化特征提取

适合多项式组合比较明确的情况下

适合多项式组合复杂未知的情况下

深度学习面临的挑战

迎接该挑战的相关技术

难以训练

mini-batch、 GPU

复杂的结构选择

CNN、RNN

模型复杂度高,容易过拟合

1.大数据 2.正则化: dropout;denoising

优化困难

pre-training

自动编码器

我们可以使用自动编码器来做pre-training:

自动编码器模型如下:

自动编码器本质是想训练得到一层能让隐藏层节点表达出输入的权重,即可以看作w1ijw_{ij}^1用于编码,w2ijw_{ij}^2用于解码,并且w1ij=w2jiw_{ij}^1 = w_{ji}^2

噪音编码自动编码器

噪音编码自动编码器其实就是希望当数据中有噪音的时候,自动编码器依旧能将输入正确的表达出来:

主要分析

线性自动编码器模型:

损失函数:

我们对上式进行线性变换:

最优化问题就变成了:

我们先固定V,变化 Γ来求的最小值。这么一来两项左边的V都可以提取来先不看,问题变成:

那么就可知,I − Γ尽可能的多0向量行结果,就会越小。而l Γ的rank ≤ ˜ d,所以 Γ取值为:

进一步的问题变成了:

对于矩阵V中的每一行的最优化问题有:

我们对上式使用拉格朗日乘子法:

vTxnxTnv−λ(vTv−1)\large v^Tx_nx_n^Tv- λ(v^Tv-1)

对上式关于v求导,取极值得:

2xnxTnv−2λv=0\large 2 x_nx_n^Tv - 2λv = 0

xnxTnv=λv\large x_nx_n^Tv = λv

把xnxTnx_nx_n^T看作矩阵XTXX^TX,可知最优化v其实就是在求矩阵XTXX^TX特征值最大的特征向量。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年08月04日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 深度神经网络
  • 自动编码器
  • 噪音编码自动编码器
  • 主要分析
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档