堆叠自编码器 2008 将多层结构和栈式训练引入自编码器 使自编码器可以训练更高层数
卷积自编码器 2011 将卷积层引入自编码器 更好的处理图片数据,得到更好的效果
变分自编码器 2014 相当于在传统自编码器的隐层表达上增加一个对隐变量的约束...,不同的颜色代表了不同的数字,对应的数字在右边的图例中进行了显示.从以上两张图片中可以得到:
1.由于relu函数对负数的截断性质,使用relu激活函数训练的模型中有一部分点被限制在x=0,y=0两条边缘线上...,很多点的界限不清晰....下图展示了,对添加噪声的图片进行重构的结果(第一行增加噪声的图,第二行重构图)
编码器输出层的二维可视化图像
下图展示了添加噪声的效果(第一行原图,第二行增加噪声的图)....重建图像(因为不是目标,所以必然走样)
下图展示了,对添加噪声的图片进行重构的结果(第一行增加噪声的图,第二行重构图)
编码器输出层的二维可视化图像
经过有监督学习,二维可视化图中各个组的界限更加清晰