问答Goodfellow:没有样例能不能训练机器学习算法?

李杉 编译整理 量子位 出品 | 公众号 QbitAI

从图像和语音识别到自然语言分析,神经网络已经在很多领域大展身手。过去几年,它们的精确度已经几乎可以与人类媲美。但仍有很多神经网络无法完成的任务——例如,这种技术还无法取代人类的创造力。

2014年,Ian Goodfellow提出了生成式对抗网络(GAN),可以在无人监督的情况下自行训练,还能对过去的错误和不足进行分析,从而改进效果。

多数深度学习算法都需要数千或数百万添加标签的样例才能获得想要的结果,而对抗网络的出现有助于减少数据需求。从本质上讲,人工智能可以通过模仿“专家”——也就是GAN中的辨别者——来学习复杂的任务。

GAN可以训练两个目标相互竞争的独立网络,还可以用于绘制和归类图像,以及识别情绪、规则和指令。Facebook和Google等现在都在深度学习模型中高度依赖GAN。

近日一篇问答Goodfellow的报道发布,透露了他目前在Google Brain的工作以及GAN的进度。

Goodfellow目前带领一个研究团队研究机器学习中的对抗技术,他在Google Brain的任务是探索如何能够“在对抗者故意想让算法失效时,还能让算法正常运转。”

他解释了他们如何应对现实场景,例如,有垃圾信息试图逃过过滤器发送邮件,他们还研究了如何用成像对抗者让机器学习算法多加练习,并迫使其改进。

例如,GAN可以“学着通过玩游戏生成现实图像,在这个游戏中,生成网络必须产生一些图片,让物体识别网络把假图片错认成真图片。”

Goodfellow拥有计算机科学本科学位,他在美国国家卫生研究院的神经科学实验室当实习生时开始从事人工智能方面的工作。

以下为采访概要:

问:深度学习最近有什么重要进步?具体是怎么实现的?

答:截至2017年7月,我认为最新的进步就是2017年5月宣布的新一代谷歌TPU。机器学习始终受制于计算能力的局限。新的谷歌TPU有助于填补我们可以在深度学习实验中使用的计算量,与生物神经系统中使用的计算量之间的差距。

之前的TPU仅能提供给谷歌工程师使用,但新的TPU还可以提供给云计算用户。研究人员甚至可以申请免费使用。

这种新的TPU还支持机器学习模型训练,这较上一代实现了重大进步,之前的TPU可以运行经过训练的模型,但不能用于训练。这些进步来自持续多年的研发,这都得益于谷歌领导层对这一领域展开的先期投资。

问:你的工作在神经网络/GAN领域都有哪些实际应用?哪些领域最有可能受到影响?

答:生成式对抗网络的一个实际应用是半监督式学习。当今的多数深度学习算法都需要使用数千或数百万的标记样例——这种样例会显示具体的输入信息,以及在模型再次看到这个输入信息时所应生成的具体的输出信息。半监督式学习算法可以同时利用标记的样例和未标记的样例——也就是只包含输入信息的样例。

因此,只要还有几千个未标记的样例,它们就能通过少量标记的样例(可能是100个左右)进行学习。GAN和其他半监督式学习方法有可能把机器学习带入很多不同的长尾领域,这些领域没有展开大规模投资,无法收集像物体识别领域那么多的标记数据。

问:深度学习未来五年有望看到哪些进展?

答:我想强调一些别人可能忽视的进展:

  • 我认为在如何提升机器学习算法公平新这个问题上,我们开始看到了一些最佳实践建议,毕竟这类技术已经开始对我们的生活产生重大影响。
  • 我认为我们会开始看到更加强大的隐私保障措施,包括差别隐私、联合学习,以及同态加密。
  • 我认为我们将看到很难被攻击者欺骗的机器学习算法,但我不认为能够看到在数学证明可证明的严密安全保证。

问:有哪些潜在的机器学习进步最令你振奋?

答:我很高兴看到医药机器学习技术发展势头越来越强。

具体而言,我很高兴看到不同的私有GAN被用于证明一套可以共享临床数据,但又不会侵犯病人隐私的系统。当我本科研究神经科学的时候,我对智能的运作方式很感兴趣,希望了解如何治疗大脑疾病。

我之所以希望学习人工智能,部分原因在于我意识到,如果我能够开发更强大的人工智能算法,别人就可以利用这些算法解决生理学和其他学科领域的疑难问题。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

深度学习到底有没有缺陷?这里列满了它做不到的事情

本文源自一次讨论深度学习缺陷的推文风暴,斯坦福大学的Bharath Ramsundar,在用深度学习进行药物研究的过程中发现,深度学习做不到事情其实有很多,比如...

7387
来自专栏应兆康的专栏

开发集和测试集应该来自同一分布

931
来自专栏新智元

UCL汪军团队新方法提高群体智能,解决大规模AI合作竞争

【新智元导读】当前人工智能最大的挑战之一,是如何让多个智能体学会一起完成同一个任务,学会彼此合作和相互竞争。在发表于ICML 2018的一项研究中,伦敦大学学院...

2690
来自专栏AI研习社

评测 | 谷歌 TPU 二代来了,英伟达 Tesla V100 尚能战否?

AI 研习社按:谷歌去年年中推出的 TPUv1 一度让英伟达感受到威胁将近,而现在的谷歌 TPU 二代 TPUv2 则着着实实得将这份威胁变成了现实,去年的评测...

1441
来自专栏新智元

今日头条李磊:用机器学习做自然语言理解,实现通用 AI 仍需解决三大难题(33PPT下载)

1 新智元原创 【新智元导读】10月18日,在中国自动化学会与新智元联合主办的 2016世界人工智能大会上,今日头条科学家、头条实验室总监李磊博士受邀发表...

4356
来自专栏镁客网

MIT人工智能实验室发力!让机器人告诉你5秒后的世界

2246
来自专栏应兆康的专栏

6. 开发集和测试集应该来自同一分布

根据市场情况,由于存在不同地区的用户,你可以把你的猫咪APP图片数据分为四个区域: (1) 美国 (2) 中国 (3) 印度 (4) 其它地区 为了生成一个开发...

35611
来自专栏ATYUN订阅号

OpenAI:通过人工智能之间的辩论实现安全的人工智能系统

这种辩论方法可视化为一个游戏树,类似于围棋这样的游戏,只是针对的对象变成了在叶节点上辩手举措和人类判断之间的句子。在辩论和围棋中,真解取决于整个树,但是强大的智...

842
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

1195
来自专栏新智元

【Quora精彩问答】机器学习的十条金科玉律

【新智元导读】曾在 Endeca, Google, LinkedIn 负责机器学习项目的 Daniel Tunkelang 在 Quora 上发表了给非专业人士...

3828

扫码关注云+社区

领取腾讯云代金券