自编码器

各种自编码器

代码 https://www.atyun.com/16921.html

堆叠自编码器

一般用来作逐层无监督预训练,但自从dropout、relu等提出后,已经没什么人用了。

去噪自编码器

对于常见的分类任 务,一般分为以下两个阶段:

  • layer-wise pre-training (逐层预训练)
  • fune-tuning (微调)

注意到,前述的各种SAE,本质上都是非监督学习,SAE各层的输出都是原始数据的不同表达。对 于分类任务,往往在SAE顶端再添加一分类层(如Softmax层),并结合有标注的训练数据,在误 差函数的指导下,对系统的参数进行微调,以使得整个网络能够完成所需的分类任务。

对于微调过程,即可以只调整分类层的参数(此时相当于把整个SAE当做一个feature extractor),也可以调整整个网络的参数(适合训练数据量比较大的情况)。

稀疏自编码器

就是在损失函数加入一个项,表示神经元

代码 https://blog.csdn.net/m0_37744293/article/details/70767843

关键代码部分

# Construct model
P=0.1
beta=1
encoder_op = encoder(X)
decoder_op = decoder(encoder_op)

Pj=tf.reduce_mean(encoder_op,0)
sparse_cost=tf.reduce_mean(P*tf.log(P/Pj)+(1-P)*tf.log((1-P)/(1-Pj)))

# Prediction
y_pred = decoder_op
# Targets (Labels) are the input data.
y_true = X

# Define loss and optimizer, minimize the squared error
cost = tf.reduce_mean(tf.pow(y_true - y_pred, 2))+sparse_cost*beta

Pj是一个batch的每个神经元的平均激活值

逐层贪婪预训练

参考深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

  • 什么Autoencoder、RBM,现在都已经没人用了。现在都用relu和dropout等。
  • 现在所常说的 pre-training (预训练) ,其实 专指 migration learning (迁移学习),那是一种无比强大又省事儿的trick。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python时间与日期处理一次看个够(time、datetime、calendar)

    python中常常会遇见时间、日期相关的处理,python标准库其实就提供了非常强大的处理能力,它们是time、datetime、calendar标准库,下面是...

    小草AI
  • 解读|基于多级神经纹理迁移的图像超分辨方法 (Adobe Research)

    超分辨(Super-Resolution)图像恢复旨在从低分辨模糊图像中恢复出高分辨的清晰图像,是计算机视觉中的一个重要任务,在工业界有非常强的应用前景。CVP...

    AI科技评论
  • NLP 与 NLU:从语言理解到语言处理

    随着人工智能的进步,相关技术变得越来越复杂,我们希望现有的概念能够包容这种变化 - 或者改变自己。同理,在自然语言处理领域中,自然语言处理(NLP)的概念是否会...

    AI研习社
  • 机器学习在销售报价单的产品推荐场景中的作用

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 机器学习在客户管理场景中的应用

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 漫画说算法|人工智能与我们的未来

    为了让小伙伴更加容易理解经典算法,留下深刻印象,小白决定创办「漫画说算法」,分享讲解算法的漫画文章,在阅读漫画的过程中学习。如果小伙伴有收藏的优秀文章,欢迎后台...

    小白学视觉
  • 谷歌开发新模型EfficientNets,缩放CNN的精度与效率超越现有模型

    卷积神经网络(CNN)通常以固定的资源成本开发,然后进行缩放,以便在获得更多资源时得到更好的精度。

    AiTechYun
  • 纳米级无人机PULP Dronet仅重27克,具有强大的自主导航能力

    苏黎世联邦理工学院和博洛尼亚大学的研究人员开发了一个纳米级无人机,名为PULP Dronet,仅有27克,具有深度学习的视觉导航引擎。论文显示无人机可以在一个端...

    AiTechYun
  • 收藏数据集网盘下载

    以下是小编收集的一些常见数据集,包含各个方面,如自动驾驶、人脸识别、世界杯、股票数据、基因组数据、全球各大社交媒体数据以及开放数据集等。数据集比较大,请选择需要...

    小草AI
  • 机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导

        在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,...

    刘建平Pinard

扫码关注云+社区

领取腾讯云代金券