基于深度学习的经典自动编码器优化

序幕

dd：各位读者，大家好！

piao：大家好！

dd：今天是9月7日星期五，农历七月廿八。

piao：今天要推送的srdp研究内容是深度学习之自动编码器。小组成员有胡园梦、孔雅婧、张立、张鑫霖，指导老师是高翔老师。

dd：下面请看详细内容。

1.关于自动编码器

随着大数据时代的到来，人们对数据的提取有了更高的要求，而自动编码器的出现很好的解决了这个问题，将大量信息做非线性特征抽取，并且此结构信息损失较少。

但随着科技的进步，目前自动编码器仍存在不足之处需要改进。

因此我们以深度学习作为切入点，通过文献与做实验来尝试将自动编码器分别与经典的BP神经网络架构和经典的深度学习架构相结合，建立一个拟合度更高，提取特征后保留信息度较高的架构。

2.我们在做些什么

在前期的大量文献阅读后，小组成员不断交流各自的学习心得大致确定了两个待定的研究方向——对现有的自编码器进行组合与训练、对最新研究出的自编码器进行改进。于是在老师的指导下，我们对自己想要研究的方向大量检索资料，开始以研究综述的写作方法写下了两篇综述。

我们将自动编码器与经典的BP神经网络架构相结合，将着重分析了混合神经网络在各种类型中的应用，并通过了解深度学习、深度信念网络、卷积神经网络和基于自动编码器的深层神经网络的原理，对目前基于自动编码器的深层神经网络存在的问题及前景进行了展望——与传统的自动编码器或传统分类器相比，基于自动编码器的深层神经网络在高维数据和大量数据的情况下具有更高的分类精度和学习效率。

但是，如果数据过高，基于自动编码器的深层神经网络分类精度会降低，实验时间也会增加。基于自动编码器的深层神经网络在相同条件下的性能下不如传统神经网络。即使在低维情况下，基于自编码器的神经网络也会产生过拟合现象，其性能也不如传统的分类器。在高维或低维情况下，如何保证基于自动编码器的深层神经网络仍保持较高的分类精度和高的学习效率，是今后基于自动编码器的深层神经网络研究的目标。

自动编码器的一般结构

当这个过程训练完之后，我们可以拿出这个解码器，随机传入一个编码(code)，希望通过解码器能够生成一个和原数据差不多的数据，上面这种图这个例子就是希望能够生成一张差不多的图片。

在另一篇综述中，我们将自动编码器与经典的深度学习架构相结合，将现有的各类自动编码器根据其不同的任务需求和结构差异分为四类自动编码器，分别为正则化自动编码器、混合自动编码器、堆叠自动编码器和生成自动编码器。将每类自动编码器进行了总结分析后对自动编码器未来发展做出了一定的展望——我们发现，近几年自动编码器的研究在不断有着新的突破，但这些突破是有迹可循的，如基于编码器以及隐藏层的分类模型的自动编码器，近几年的发展，更多的倾向于堆叠不同类型的自动编码器，以达到优化输入输出的目的；而基于隐藏层及解码器的生成模型的自动编码器，像近几年的AAE，WAE，是从GAN技术的发展中汲取灵感，将对GAN的优化手段，应用于自动编码器，得到新型的自动编码器。

事实证明，这些手段都是卓有成效的。

（这里变分编码器使用了一个技巧“重新参数化”来解决 KL divergence 的计算问题）

3.下一阶段的目标

目前通过前期的不断知识积累与不断实验中，我们发现对现有的编码器进行组合不仅工作量繁重，数据也得到的不太理想。在与老师沟通后我们将目标进行调整，以最新出现的自动编码器WAE（ Wasserstein AE）为基础，开始往尝试做新型的混合自动编码器方向发展。

近期我们将加强基础知识的学习，与指导老师积极沟通项目进展过程中的困难，并积极寻求解决办法，改进实验硬件，尝试多语言编程改进算法。同时改进实验内容，不再侧重做混合便面器性能调试，侧重于将现有编码器运用于实际生活中，找出在某方面性能较好的自动编码器，深入相关研究。

dd：跟上时代脚步，向ta们学习！大家看了后有什么收获呢？欢迎大家踊跃留言！~

（小编实在是想说…请收下我的膝盖…