专栏首页AI研习社【AI听】Hinton:反向传播要被彻底放弃了!Unity推出Machine Learning,24分钟训练ImageNet……

【AI听】Hinton:反向传播要被彻底放弃了!Unity推出Machine Learning,24分钟训练ImageNet……

主播 | 吴璇

选题 | 徐普 程炜 Heo

本周关键词

反向传播|Machine Learning Agents

ImageNet|信息瓶颈

NO/1 Geffory Hinton:深度学习可能要彻底放弃反向传播

据科技媒体Axios报道,上周三在多伦多举行的一个AI会议上Hinton表示,他现在对反向传播算法“深感怀疑”。

反向传播是用来训练人工神经网络的常见方法,该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。值得一提的是,Hinton本人是反向传播算法的早期提出者,1986年,Hinton在一篇论文中首次将反向传播算法引入多层神经网络训练。

尽管在这次会议上,不少参会的科学家表示在人工智能的未来反向传播仍处于核心地位,但Hinton的发言一锤定音:可能会有全新的方法推出。Hinton在现场引用普朗克的名言称:“Max Planck 曾说:‘科学之道,不破不立。’未来取决于对我所说的一切持怀疑态度的那些研究生。”他还表示,如果要让深神经网络变得更聪明,即向无监督学习过渡,“这可能意味着要彻底放弃反向传播。”

这一观点在Twitter上引起了广泛讨论,Pedro Domingos、李飞飞等多人纷纷转发。在李飞飞转发的Twitter上,雷锋网注意到,前几天的“few tools lives enternity”已经悄然变成了“no tool is eternal”,Hinton这一观点对AI研究者的震撼之大可见一斑。(来源:雷锋网)

NO/2 打造AI训练基础平台!Unity推出Machine Learning Agents

全球最大的3D游戏引擎Unity宣布发布Unity Machine Learning Agents,通过将其游戏引擎与TensorFlow等机器学习框架相连接,游戏中的NPC有望通过机器学习的方式变得更有策略性,从而增加游戏的对 抗性和可玩性。

目前Unity已经发布了测试版ML-Agent SDK。ML-Agents SDK可以让研究人员和开发人员将使用Unity Editor所创建的游戏和模拟场景转换为可以使用Python API,通过深度增强学习等机器学习方法对智能代理进行训练的环境。对Unity的ML-Agent SDK感兴趣的开发者,可以访问其Github页面获得更详细的消息。(来源:雷锋网)

NO/3 24分钟训练完ImageNet创纪录

今年 6 月,Facebook研究人员使用256块GPU在1小时内训练完ImageNet,通过增加批量大小以加快并行训练速度的方式引发了人们的关注。现在,这项纪录被刷新:伯克利、TACC和UC戴维斯的研究人员使用新算法,在24分钟内训练完ImageNet的Alex模型,创下新的世界纪录。

同时,研究人员表示他们仅使用了120万美元的硬件(相比Facebook当时410万美元),也是使用ResNet-50在一小时内进行ImageNet训练迄今最低的预算,新的方法使用的计算设备成本(120 万美元)大大低于 Facebook(410 万美元)。(来源:新智元、机器之心)

NO/4 “信息瓶颈”理论揭示深度学习本质,Hinton说他要看1万遍

日前,希伯来大学的计算机科学家和神经学家 Naftail Tishby,提出了一种解释深度学习工作原理的新理论,并给出了证据支撑。Tishby认为,深度神经网络根据一种被称为“信息瓶颈”的过程在学习。

信息瓶颈理论认为,网络像把信息从一个瓶颈中挤压出去一般,去除掉那些含有无关细节的噪音输入数据,只保留与通用概念(general concept)最相关的特征。Tishby和他的学生在最新实验,展示了深度学习过程中这种“挤压”是如何发生的。(至少在他们所研究的案例里)

Naftali Tishby在柏林的演讲《深度学习:理论、算法和应用》,时长约58分钟。Hinton评价说,这是近年来少有的干货演讲。

深度学习先驱Geoffrey Hinton在看完Tishby的柏林演讲后发电子邮件给Tishby。“这简直太有趣了,”Hinton写道:“我还得听上10,000次才能真正理解它,但如今听一个演讲,里面有真正原创的想法,而且可能解决重大的问题,真是非常罕见了。”(来源:新智元)

还有什么想听的内容

留言告诉我们吧

本文分享自微信公众号 - AI研习社(okweiwu),作者:AI 研习社

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 结合多重神经网络提高泛化能力!深度学习之父Geoffrey Hinton的神经网络第十课(中文字幕)

    作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine ...

    AI研习社
  • Google 科学家最新整理,给新手的十篇最佳数据科学文章

    作为数据科学的初学者,一些好的文章能够快速带我们入门这一充满了未知和挑战的领域。近日,google 决策智库的主管 Cassie Kozyrkov 整理了十篇给...

    AI研习社
  • 「元学习」解析:学习如何梯度下降与学习新的算法

    AI 研习社:本文作者 Cody Marie Wild,她是一位机器学习领域的数据科学家,在生活中还是名猫咪铲屎官,她钟爱语言和简洁优美的系统。在这篇文章中,C...

    AI研习社
  • Python指南:组合数据类型

    Python提供了5中内置的序列类型:bytearray、bytes、list、str与tuple,序列类型支持成员关系操作符(in)、大小计算函数(len()...

    王强
  • JavaScript高级

    首先更正一个小问题,昨天的JavaScript入门一文中,末尾的“网页换肤”这个小案例的代码插入的有问题,插入的是名片案例的代码,排版不严谨向您致歉,现在补发更...

    小闫同学啊
  • 珍爱生命,远离JS=>JS避坑记

    转载请注明源地址: http://www.cnblogs.com/funnyzpc/p/8407952.html

    上帝
  • 隐私遇上大数据,各国大数据隐私保护情况分析

    ? 大数据的爆发性发展正席卷全球,在IT、零售、交通等很多行业制造变革,带来了机遇,也改变了人们的生活。根据来自赛迪顾问的数据,我国大数据市场从2012年的4...

    小莹莹
  • Android利用爬虫实现模拟登录的实现实例

    为了用手机登录校网时不用一遍一遍的输入账号密码,于是决定用爬虫抓取学校登录界面,然后模拟填写本次保存的账号、密码,模拟点击登录按钮。实现过程折腾好几个。

    砸漏
  • 如果你认为公安的摄像头只能拍违章,那就太天真了!

    说起公安的视频摄像头,可能大家脑海里首先浮现的是路口违章抓拍。但现在,当人工智能、大数据、物联网和数字高清视频监控深度结合,或许将会开启另一扇智慧城市的大门。

    用户1621951
  • 机器学习之Python基础(一)

    标题 Python语言特点 基本数据类型 循环 文件IO 函数 1 1 1 Python是一种面向对象的解释型计算机程序设计语言。它有着代码简洁、可读性强的特点...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券