专栏首页Petrichor的专栏深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

UFLDL栈式自编码器摘来的话:

每次只训练网络中的一层,即我们首先训练一个只含一个隐藏层的网络,仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络,以此类推。

在每一步中,我们把已经训练好的前k-1层固定,然后增加第k层(也就是将我们已经训练好的前k-1的输出作为输入)。每一层的训练可以是有监督的(例如,将每一步的分类误差作为目标函数),但更通常使用无监督方法(例如自动编码器)。

这些各层单独训练所得到的权重被用来初始化最终(或者说全部)的深度网络的权重,然后对整个网络进行“微调”(即把所有层放在一起来优化有标签训练集上的训练误差)。

Note

  • 什么Autoencoder啦、RBM啦,现在都已经 没人用了
  • 现在所常说的 pre-training (预训练) ,其实 专指 migration learning (迁移学习),那是一种无比强大又省事儿的trick。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习: 如何训练网络

    随机批处理,mini-batch,一种 在模型每轮 (epoch) 训练进行前将训练数据集随机打乱 (shuffle) 的 训练机制。

    JNingWei
  • 【tensorflow】node相关

    tf中的op就是node。 所有tensorflow操作,都会生成tf node。

    JNingWei
  • python: 装饰器 / 迭代器 / 生成器

    写在 被装饰函数 的 正上方 。可提前注明接下来的介绍内容,例如@property、@classmethod、@staticmethod。

    JNingWei
  • 新记录诞生,腾讯云2分31秒打破ImageNet训练记录

    8月21日,腾讯云正式对外宣布成功创造了128卡训练ImageNet业界新记录,以2分31秒的成绩一举刷新了这个领域的世界记录。若改变跨机网络带宽,该成绩还可以...

    深度学习技术前沿公众号博主
  • NPM报错终极大法

    lilugirl
  • 为什么别人一点就透,我却迟迟学不会?

    天明同学是这门课的一位非常用功的学生。之前,他就自己的学习经历、心得和收获写了一篇《我是这样入门“机器学习”的》。

    叶锦鲤
  • 22岁复旦学生拿下世界深度学习竞赛冠军:50层ResNet网络

    【新智元导读】 拥有世界上最大的开源车对车(V2V)网络的 Nexar 公布了第二届 Nexar 挑战赛的结果。来自复旦大学的Hengduo Li 拿下冠军。 ...

    新智元
  • 学界 | 无监督神经机器翻译:仅需使用单语语料库

    机器之心
  • 从“人人都能编程”到“人人都会研发AI”,苹果低调发布的Create ML潜力无穷

    WWDC18上,苹果发布了 macOS Mojave,这版操作系统因为加入了对 iOS App 和黑暗模式的支持而显得尤为重要,但是很多人忽略了苹果面向开发者推...

    IT派
  • 20191215周学习总结

    最近会打算每周总结一下学习的内容,主要内容可能是看过的书的一些学习笔记、论文阅读、学习的知识点以及推荐一些文章。

    kbsc13

扫码关注云+社区

领取腾讯云代金券