深度学习中的怪圈

大数据文摘作品,转载要求见文末

作者:Carlos E. Perez

编译 | saint,一针

牛津大学的机器学习先驱Nando de Freitas刚刚在自己的最新推文中推荐了这篇关于“深度学习怪圈”的文章。本文作者将人类自我认知的怪圈与深度学习的算法怪圈相联系,“自我创造”这一似乎是“人类思想”独有的属性,似乎正在成就一些难以置信的深度学习成果。

最终,我们将自我觉知、自我创造,陷入自我参照的小小奇迹幻影中。而这种自我参照的机制,如同描述思想独有的属性。

— Douglas Hofstadter

怪圈是一种循环系统,横贯不同等级的各个层次。通过这种循环,一个人可以追溯他的本源。

无独有偶,被Yann LeCun称为“机器学习在过去的二十年间最酷的想法”背后,最根本的实际上正是这种“怪圈”。

循环在机器学习系统中并不典型,按照惯例,这些系统由不同计算层的无环图构成。然而,我们现在开始发现,采用”反馈循环”能衍生出一种令人难以置信的、新的自动操作。

这可不是夸张,这是今天正在发生的事实。研究者们正在训练“精确的”的智能系统,以期创造出在同领域内能力远超于人类的专业自动化。

我第一次知道深度学习系统中使用反馈回路是有效的,是在“梯形网络”里。梯形网络在很早之前就被采用了,可以追溯到 2015年7月!(查看:https://arxiv.org/abs/1507.02672v2)下图为其结构示意。

图片来源:https://arxiv.org/abs/1511.06430v4 Deconstructing the Ladder Network Architecture

梯形网络是上下穿梭计算层的单循环回路,后边跟了一个终极单向通道。这套系统从回路部分搜集信息,它被采用之后展示了非常不错的收敛数。这在2016年中的一篇论文中有原始研究人员的进一步讨论:

https://arxiv.org/pdf/1606.06724v2.pdf

标记:无监督深度学习感知分组

如果你将好几个梯形网络串在一起就能形成一个大的网络,它能够将图像中的物件分组。

对抗生成网络(GAN)也有它自己的循环回路,但是在结构中看不出来,而是隐藏在它的训练当中。GAN的训练过程中包含了对合作和对抗网络的训练,这涉及了一个生成网络和一个辨别网络。辨别网络想方设法将生成网络生成的数据进行分级;生成网络则是想方设法寻找欺骗辨别网络的数据,最终生成器和辨别器的鲁棒性都得到了提升。GAN可以说在某种程度上达到了图灵测试的要求,是当前最好的图片生成模型。

我们基本可以肯定有一种反馈机制,以生成器利用神经网络(辨别器)生成更智能的结果(例如,更真实的图形)这一形式而存在。有很多GANs生成真实图形的案例。无论如何,由于梯形网络,现在有更新的结构在促使GANs改变。

图片来源:https://arxiv.org/abs/1612.04357v1 Stacked Generative Adversarial Networks

这些利用了循环的系统也与关于“增量学习”的新研究有关。深度学习系统的缺点之一就是在微调网络时,用新数据来训练会摧毁之前它掌握的技能。就是说,网络会“忘记”过去的学习。由斯坦福开发的一个称为“反馈网络”模型结构里,研究人员开发了一种特殊的网络,可以自我反馈,还能内部迭代显示。

http://feedbacknet.stanford.edu/feedback_networks_2016.pdf

在一篇更近的发表研究成果(2017年3月)中,加州伯克利大学通过GANs和一种新的正则化方法创造出了图形之间的转换,效果惊人。他们把这个系统叫做循环对抗生成网络(CycleGAN),并且有了一些了不起的成果:

Source: https://junyanz.github.io/CycleGAN/

CycleGAN 能够实现优异的图形转换。如上图所示,向它输入绘画作品可以生成真实的照片。它还可以实现类似语义转换的功能,如将马变成斑马、或将某个季节的图片变成另外一种季节的样子。

这种方法的关键在于,利用“循环一致的损失”。这种损失确保了这种网络能够实现一种单向转换,之后又能够通过最小损失实现相反的转换。也就是说,网络不仅仅必须学会转换原始图片,还得学会反向转换。

训练深度学习系统最大的难题在于缺乏标记数据。标记数据是控制深度学习模型精确性的源头。不过,这些开始采用循环回路的新型系统正在解决缺乏监督的问题。这就像有一个永动机在自动凭空造出一些新的标记数据变量,最后反过来用更多数据来训练自己。这种自动化机制让他们自己和自己进行模拟游戏,“玩”得多了,就能成为这方面的专家。

这就类似于阿尔法狗(AlphaGo),它也能够通过自我训练发展出新的策略。当自动化嵌入了反馈回路,而且能够模拟(一些人称之为“想象”)很多不同的情景,还能自测这些情景下的正确性,那么我们就进入了超级科技爆发的临界点。

而这种井喷式的快速发展所将带来的科技能量,我们人类文明远未做好掌握它的准备。所以下次如果你看见一些难以置信的深度学习成果,可以尝试寻找嵌在算法里的怪圈。

没有任何准备的人们,祝你好运。

原文链接:Credit: Escher https://www.esmadrid.com/en/whats-on/escher-gaviria-palace

关于转载如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-05-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

百度公开硬件基准 DeepBench,推动深度学习专用芯片研发竞争

2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7 剑下天山,汇集了中国人工智能产学研三界最豪华院长阵容...

4096
来自专栏专知

【ICML2018】Scikit-learn 作者之一可微分动态编程51页教程【附下载】

【导读】一年一度的国际机器学习会议( ICML ),于7月15日在瑞典斯德哥尔摩闭幕,其中一篇来自法国Inria Parietal,也是scikit-learn...

730
来自专栏AI研习社

从莫扎特到披头士,Facebook 新 AI 轻松转换音乐风格

想象一下:你的朋友几周来一直在唠叨你听一首歌,尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你,声称“旋律是伟大的”。 如果只有你能听到文明形式...

1533
来自专栏PPV课数据科学社区

【学习】如何避免数据可视化的十大误区?不在出渣图表

数据可视化,是一种用来将复杂信息数据清晰表述出来的强大有力的工具。 通过可视化信息,我们的大脑可以更有效地合成和保留信息内容,增强对信息的理解。但是如果不正确数...

29610
来自专栏AI2ML人工智能to机器学习

R语言和表数据分析

最近几年, 对于表数据分析有一些常见的问题, 譬如: 缺失值(Missing), 奇异值(Outlier)(参考 “一个奇异值的江湖 -- 经典统计观” 和 “...

711
来自专栏AI科技评论

百度ICML论文:如何用一种算法同时解决中英两种语言的语音识别需求

论文作者:Dario Amodei , Rishita Anubhai , Eric Battenberg , Carl Case , Jared Casper...

44512
来自专栏专知

张翼英:一点论文写作心得

【导读】论文是硕士博士必修之关。我们转载一篇来自张翼英老师的论文心得文章! 本文来自张翼英科学网博客。 链接地址:http://blog.sciencenet....

4037
来自专栏大数据挖掘DT机器学习

极简增强学习新手教程 返回专栏查看评论

“如何学习新技能?”这是一个全球科学家都在研究的基础问题。为什么会想要知道这个问题的答案呐,答对了好处都有啥呢? 因为一旦我们能够理解这一点,就可以实现一些前...

3195
来自专栏IT派

7步让你从零开始掌握Python机器学习!

这篇文章旨在通过7个步骤,将最少的机器学习知识转化为知识型实践者,所有这一切都在使用免费的材料和资源。这个大纲的主要目标是帮助你通过许多可用的免费选项; 有很多...

3624
来自专栏数据魔术师

干货 | 变邻域搜索算法(Variable Neighborhood Search,VNS)超详细一看就懂

3.6K8

扫码关注云+社区

领取腾讯云代金券