动态 | Percy Liang:机器学习的可解释性如此重要,我们都需要努力

AI 科技评论按:近日,外媒 Future of Life 对人工智能界知名研究者 Percy Liang 进行了采访,介绍了他对机器学习的一些看法以及研究目标。AI 科技评论全文翻译如下。

2017 年底,美国众议院通过了《自动驾驶》法案,为自动驾驶汽车的监管建起了初步框架。实际上,在过去的 20 年间,自动驾驶汽车就已经在公共道路上进行着各种测试,而随着这项法案的通过,以及自动驾驶技术安全性的持续提高,自动驾驶汽车未来也将在我们的日常生活中占据更多的地位。其他医疗、法律、安全保护等领域的各种各样的无人化技术也会慢慢普及开来。

为了人类未来可以和自动化的机器们和谐共处,学术研究者、企业开发者以及用户都需要对这些依赖人工智能的技术有足够的信心。不只是自动驾驶汽车这样明显的案例需要人们的信心,安全保护设施以及手机里的虚拟个人助理,都使用了人工智能,都需要人们的信心。

机器学习的可预测性

Percy Liang 是斯坦福大学计算机科学系的一名助理教授,他介绍道,人类的日常互动总需要一些可预测性,不管是对于其他的人类,还是对于汽车之类的自动化系统。创造这种可预测性的方法之一就是通过机器学习。

机器学习领域中,人们基于以往收集的数据创建人工智能算法。开发者并不需要为 AI 明确地编写代码告诉它应该怎么做、应该如何思考,而是由系统自己从数据中观察、学习数据模式,然后根据数据做出符合数据模式的行动。整个过程和「试错学习」有点像。

对于机器学习系统来说,人们在研究和开发测试中经常考虑的一个关键问题是,「为什么系统做出了这个预测?」对研究和开发人员们来说,这被称为「机器学习的可解释性」。对于这为什么是个重要的研究课题,Percy Liang 举了个例子说明:「假设你正在过马路,一辆车向着你开着过来。对于一般的人类司机,你心里大概能猜到他会怎么做。但是如果开这辆车的是 AI,人类要如何知道它会怎么做呢?」

系统执行任务得到了好的结果固然重要,但是也许更重要的是能够用简单、好理解的话语解释清楚它为什么那样做了。即便系统并不是很准确,它也需要能够被解释、被预测。为了能够安全地大规模部署 AI,这些自动化系统必须是基于广为理解的、实际的、经得起测试的基本假设和原理才行。

目前开发 AI 的理论指导都是让 AI 能够符合训练数据中可观测的输出。然而在 Percy Liang 看来,这可能会导致「自动驾驶系统能在验证测试中发挥出良好表现,但是并不理解在人类想要的输出背后的人类价值判断。」

进行许多的测试当然很重要。根据 Percy Liang 介绍,这种种模拟测试方法「都是很好的 debug 技巧,我们可以借助它们更轻松地进行控制变量测试,而且也可以帮助我们更快地迭代系统。」

不过,要真正地知道某种技术是否有效,「必须在真实环境中测试,没有什么讨巧的方法,」Percy Liang 说,「对语言、视觉、机器人技术来说都是这样」。一辆自动驾驶汽车很有可能可以在所有测试环境中都表现良好,但是我们没有什么办法可以准确预测它在无法预知的自然灾害面前会做出什么。

可解释的机器学习系统

许多领域中,能取得最好表现的系统都是基于深度神经网络的,比如识别图像和生成语音中深度神经网络都已经称为了默认的方法,而这些方法当然也都是很复杂的。同时它们也被称为「黑盒系统」,因为就算解释系统的行为有那么一些可性能,实际解释起来也非常难。

Percy Liang 和他的团队也在研究如何解释这些模型,他们在尝试研究某个具体的训练场景是如何对模型的预测产生影响的。

从这个视角观察模型已经变得越来越重要,因为 AI 在做的任务也越来越复杂,比如对于 AI 医疗给出的诊断结果,如何理解、如何解释是真的「生死攸关」。「如果训练数据中有不符合的,或者对抗性生成的数据,这就会影响到模型(损害模型),后果就是接下来针对新的输入做出的预测可能是错误的。我们正在研究的影响函数(influence functions)可以让我们准确地追踪训练数据中的单个点是如何对某个给定的新输入的预测产生影响的。」Percy Liang 说。

简单来说,通过理解一个模型是如何做出它自己的那些决定的,Percy Liang 和他的团队希望可以改进模型运作的方式、找到新的科学技术,并且给最终用户提供一些解释,让他们明白会对他们造成影响的行为是如何做出的。

Percy Liang 的研究的另一个目的是确保 AI 能够理解自己的限制,而且能够和人类沟通自己的限制。传统上,测试 AI 系统的重要指标之一是平均准确率,但 Percy Liang 认为「对于 AI 的安全问题来说,这并不是一个多么好的讨论方式。毕竟,对于一个可靠性是 80% 的系统,人类到底应该怎么做呢?」

Percy Liang 其实也没打算追寻一个任何时候都能给出 100% 正确率的答案的系统。相比之下,他更希望的是,当系统对自己的答案不确定的时候,它能够明确表示出来。如果用户问系统:「我需要吃多少止疼药?」相比给出一个可能造成危险的不准确的预测,系统直接回答「我不知道」可能会更好一点。

Percy Liang 和团队针对这个问题提出的方法是尝试沿着模型的学习算法追踪模型的预测,一直反向追踪到模型参数产生的源头。他们希望这种方法——从训练数据的视角审视模型——可以成为开发、理解、诊断机器学习的标准方法的一部分。他解释道,这种方法可以联系到许多种不同的应用中,医学、计算机科学、自然语言理解系统,以及各种各样的商业数据分析应用。

「我觉得」,Percy Liang 总结说,「大家对于模拟测试起到的作用有一些混淆,有的人会完全回避模拟测试,而有的人却很喜欢在模拟测试中做完一切。也许我们需要改变整个研究文化,两种做法其实需要共存。」

正如采访中透露出的,Percy Liang 和他的团队希望给新一代的机器学习算法设置一个新的框架,让它们可以更可靠、更优雅地运行,当然也要带来更少的风险。

via futureoflife.org, AI 科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-02-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

如何看待和学习人工智能?这是五位哈佛博士生的AMA

最近,五位哈佛的在读博士生集体来到著名社区reddit,展开一场围绕人工智能和认知科学的AMA(Ask Me Anything)。 简单介绍一下这几位博士生:R...

3315
来自专栏CSDN技术头条

MSRA周明:计算机能“理解”多少我们的语言了?

【编者按】对自然语言计算技术的研究人员来说,能够实现人与计算机可以进行有效沟通,计算机能理解用户的意图,执行命令或回答问题一直是他们努力迈进的目标。基于近30年...

1695
来自专栏大数据挖掘DT机器学习

为什么基于机器学习的产品很难见到?

作者:赵国栋,现任中关村大数据产业联盟秘书长,CCF大数据专委委员,北邮特聘导师,著有《大数据时代的历史机遇》一书。 大数据甚嚣尘上了三四年,如今创业不讲机器学...

3566
来自专栏AI科技评论

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 科技评论消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Hor...

3255
来自专栏大数据文摘

语言处理想突破,三座大山必须过

如果是人类来回答这个问题,即使在情景不明确的情况下也能在快速澄清后给出回答,但对机器来说,除非依赖大量人为制定的规则,回答这样的问题难度堪比“哥德巴赫猜想”。

311
来自专栏量子位

如何看待和学习人工智能?这是五位哈佛博士生的AMA

问耕 发自 SMB 量子位 出品 | 公众号 QbitAI 最近,五位哈佛的在读博士生集体来到著名社区reddit,展开一场围绕人工智能和认知科学的AMA(As...

2955
来自专栏AI科技评论

观点 | UC伯克利教授迈克尔·乔丹采访:人类对机器学习期待过高,机器学习的发展还应当更广阔

AI 科技评论按:2017年6月21日至22日,腾讯·云+未来峰会在深圳举行。在主题为“机器学习:创新视角,直面挑战”的演讲 - AI 科技评论后,AI 科技评...

2646
来自专栏AI研习社

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 研习社消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Horv...

3327
来自专栏企鹅号快讯

不仅仅是机器学习,快速了解人工智能的六大领域

提示:阅读本文预计需要10分钟,读完后希望能够帮助您对人工智能的六大领域有一个基本的全貌认识。 12月7月到12月9日,中国大数据峰会在北京召开,公司帮我弄到了...

1827
来自专栏AI科技评论

纽约大学陈溪解析机器学习和智能决策:从一个高峰到另一个高峰还有多远?

6月24日下午,钛媒体和杉数科技主办的2017 AI 大师论坛在京举行,论坛邀请了五位算法优化、机器学习领域的顶尖教授、学者出席并发表学术演讲。论坛上,五位科学...

2979

扫描关注云+社区