Andrew Ng对 Geoffrey Hinton 的采访:致敬老爷子的一路坚持!

这里是北京大学深度学习实验室

欢迎大家关注我们获取更多资讯

为了学习一下 Ng 讲课的好风格,前段时间专门抽出时间去看了下他最近推出的 deep learning mooc 课程,希望自己下次再给学生讲深度学习的时候能够讲得更好一些。

意想不到的是课程里竟然专门有个大插曲是采访 Hinton 的,链接如下:

https://www.coursera.org/learn/neural-networks-deep-learning/lecture/dcm5r/geoffrey-hinton-interview

采访时间40分钟,第一次听老爷子这么长的 interview。他大体讲述了自己在神经网络和 AI 方面四十多年的努力,一路听来钦佩至极。之前对这位老爷子的了解就是: Godfather of Deep Learning, 大名鼎鼎的 Bool 的外孙,以及他发明的影响至今的各种 deep learning 的Landmarks:Backprop、RBM (及其学习算法constrastive divergence) 、ReLU network、AlexNet、RMSProp、Dropout...等等。自己有幸和老爷子是爱大校友 :)

但通过这次 interview 之后,对老爷子在神经网络和 AI 方面的一路坚持钦佩至极,70岁的人了思维依然敏捷,依然活跃在 AI 的一线科研当中。我大体总结一下他提到的一些关键的技术或者想法,以及背后的故事和启发。

关于科研: "Develop your intuition, trust it and go for it. Don't be too worried even if everybody else says it's nonsense." 这是老爷子给研究人员在深度学习和 AI 方面的建议。现在对于 AI 和深度学习,由于缺少深刻的理解,更多的是靠直觉产生新的想法,接着去发展、去尝试,谁也不敢下定论你的尝试一定不 work。 老爷子接着强调"if you think it is really a good idea, and other people tell you it is completely nonsense, and then you know you are on to something." 老爷子用自己在神经网络方面40多年的经历告诉我们这一点,但也必须说一下有时候没有太大成果的时候要 face reality,这是每个做科研的都要面临的问题,毕竟还有一些现实的压力。

这倒是让我想到当前 DL /RL的研究现状,大多数最前沿方向的思路都是被大公司或者大规模的研究组统治的,因为现在太多的想法需要投入很多人力物力和计算资源才能实现,大组织就很占优势。所以大家尽量不要完全 follow 他们的工作,尽量和他们做的不是太一样,这样也许会有好的结果,不然就会出现一步赶不上不不赶不上的尴尬局面。仅仅是个人观点。

老爷子的 backprop 不是全新的想法,但他使得这个算法得到了大规模推广,得益于他大力的游说 reviewer 让他的文章发表在了 nature 上。

其实老爷子的很多发明都是经过漫长的尝试摸索最终使其 work 的,relu,dropout,wake-sleep,distillation这些都是。

老爷子有些可惜自己关于 identity initialization 的想法没能最终正式的 formulate 让它 work 起来,不然就没有ResNet 什么事了。

最后谈一下capsule 的想法,其实这个想法 hinton 很早就有了(和他的学生 Tijmen http://www.cs.toronto.edu/~tijmen/tijmen_thesis.pdf, chap 2.3),我第一次听到这个想法的讨论还是2014年在我博士期间,我们几个同事在一起讨论 capsule是不是 hinton 在深度学习的下一个突破。最近hinton 在 MIT 的一个 talk 也有讲。(链接在下面)

capsule 的简单想法就是将每层的神经元进行重新有结构化的组织形成一个 capsule,这个 capsule 里包含物体识别的全部信息,比如view point, color 等等,然后将所有的 capsule 的输出进行投票作为最终输出,其实这一点是product of experts的想法

关于 capsule 我觉得目前还没有找到一个好的定义内部结构的方式,使得他能够在更有挑战的任务上工作起来。还是一个很值得努力的方向。

老爷子还在 talk 里用拼四面体的游戏开了 MIT 教授的玩笑, What's wrong with convolutional nets?

就写到这里,附一张老爷子小时候的照片,胆子大得很!看来多少年来一直没变,一直敢在自己坚信的领域坚持这么多年!

朱占星,北京大学数据科学研究中心研究员,北京大数据研究院研究员。2016年在英国爱丁堡大学获得机器学习方向博士学位。 主要研究领域为人工智能,机器学习,深度学习的优化方法,深度学习机制理论,大规模贝叶斯计算与优化理论,机器学习在交通大数据应用及计算机图形学中的应用等,在机器学习领域顶级期刊及会议有多篇文章发表,包括NIPS, ICML, ACL, AAAI及 ECML 等。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180308G1NIIE00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券