深度学习算法原理——稀疏自编码器

注：最近打算将UFLDL教程重新看一遍，其实里面有很多关于神经网络以及深度学习的知识点很有用，但是只是学习深度学习的话有一些内容就有点多余，所以想整理一个笔记，记录下神经网络到深度学习的一些知识点。整个教材已经非常好，网上有原版的英文版，也有翻译的中文版，这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知，我会尽快删除。

这个笔记主要分为以下几个部分： - 神经网络 - 自编码器与稀疏性 - Softmax回归 - 自我学习 - 深度网络 - 其他，如PCA

二、自编码器与稀疏性

1、自编码器

2、自编码器的特点

对于上述结构自编码器实际上完成了一个hW,b(x)≈x函数的学习的过程，本身可以说并没有什么意义，但是通过观察上述的结构中，我们发现在自编码器结果中，中间的隐含层，是从特征x提取出来，同时，这提取出的特征又能还原原先的特征，简单来讲，中间层实现了对原数据的抽象，是原数据的另一种表示。对于中间的隐含层具有两种结构：

• 降维，即隐含层的节点个数要小于输入节点的个数。
• 稀疏，即在隐含层的神经元上加入稀疏性的限制。

3、稀疏性约束

4、相对熵的概念

5、稀疏自编码器

参考文献

• 英文版：UFLDL Tutorial
• 中文版：UFLDL教程
• 《深度学习》学习笔记（一）：稀疏自编码器（Sparse Autoencoder）

若需要PDF版本，请关注我的新浪博客@赵_志_勇，私信你的邮箱地址给我。