动态 | Percy Liang:机器学习的可解释性如此重要,我们都需要努力

AI 科技评论按:近日,外媒 Future of Life 对人工智能界知名研究者 Percy Liang 进行了采访,介绍了他对机器学习的一些看法以及研究目标。AI 科技评论全文翻译如下。

2017 年底,美国众议院通过了《自动驾驶》法案,为自动驾驶汽车的监管建起了初步框架。实际上,在过去的 20 年间,自动驾驶汽车就已经在公共道路上进行着各种测试,而随着这项法案的通过,以及自动驾驶技术安全性的持续提高,自动驾驶汽车未来也将在我们的日常生活中占据更多的地位。其他医疗、法律、安全保护等领域的各种各样的无人化技术也会慢慢普及开来。

为了人类未来可以和自动化的机器们和谐共处,学术研究者、企业开发者以及用户都需要对这些依赖人工智能的技术有足够的信心。不只是自动驾驶汽车这样明显的案例需要人们的信心,安全保护设施以及手机里的虚拟个人助理,都使用了人工智能,都需要人们的信心。

机器学习的可预测性

Percy Liang 是斯坦福大学计算机科学系的一名助理教授,他介绍道,人类的日常互动总需要一些可预测性,不管是对于其他的人类,还是对于汽车之类的自动化系统。创造这种可预测性的方法之一就是通过机器学习。

机器学习领域中,人们基于以往收集的数据创建人工智能算法。开发者并不需要为 AI 明确地编写代码告诉它应该怎么做、应该如何思考,而是由系统自己从数据中观察、学习数据模式,然后根据数据做出符合数据模式的行动。整个过程和「试错学习」有点像。

对于机器学习系统来说,人们在研究和开发测试中经常考虑的一个关键问题是,「为什么系统做出了这个预测?」对研究和开发人员们来说,这被称为「机器学习的可解释性」。对于这为什么是个重要的研究课题,Percy Liang 举了个例子说明:「假设你正在过马路,一辆车向着你开着过来。对于一般的人类司机,你心里大概能猜到他会怎么做。但是如果开这辆车的是 AI,人类要如何知道它会怎么做呢?」

系统执行任务得到了好的结果固然重要,但是也许更重要的是能够用简单、好理解的话语解释清楚它为什么那样做了。即便系统并不是很准确,它也需要能够被解释、被预测。为了能够安全地大规模部署 AI,这些自动化系统必须是基于广为理解的、实际的、经得起测试的基本假设和原理才行。

目前开发 AI 的理论指导都是让 AI 能够符合训练数据中可观测的输出。然而在 Percy Liang 看来,这可能会导致「自动驾驶系统能在验证测试中发挥出良好表现,但是并不理解在人类想要的输出背后的人类价值判断。」

进行许多的测试当然很重要。根据 Percy Liang 介绍,这种种模拟测试方法「都是很好的 debug 技巧,我们可以借助它们更轻松地进行控制变量测试,而且也可以帮助我们更快地迭代系统。」

不过,要真正地知道某种技术是否有效,「必须在真实环境中测试,没有什么讨巧的方法,」Percy Liang 说,「对语言、视觉、机器人技术来说都是这样」。一辆自动驾驶汽车很有可能可以在所有测试环境中都表现良好,但是我们没有什么办法可以准确预测它在无法预知的自然灾害面前会做出什么。

可解释的机器学习系统

许多领域中,能取得最好表现的系统都是基于深度神经网络的,比如识别图像和生成语音中深度神经网络都已经称为了默认的方法,而这些方法当然也都是很复杂的。同时它们也被称为「黑盒系统」,因为就算解释系统的行为有那么一些可性能,实际解释起来也非常难。

Percy Liang 和他的团队也在研究如何解释这些模型,他们在尝试研究某个具体的训练场景是如何对模型的预测产生影响的。

从这个视角观察模型已经变得越来越重要,因为 AI 在做的任务也越来越复杂,比如对于 AI 医疗给出的诊断结果,如何理解、如何解释是真的「生死攸关」。「如果训练数据中有不符合的,或者对抗性生成的数据,这就会影响到模型(损害模型),后果就是接下来针对新的输入做出的预测可能是错误的。我们正在研究的影响函数(influence functions)可以让我们准确地追踪训练数据中的单个点是如何对某个给定的新输入的预测产生影响的。」Percy Liang 说。

简单来说,通过理解一个模型是如何做出它自己的那些决定的,Percy Liang 和他的团队希望可以改进模型运作的方式、找到新的科学技术,并且给最终用户提供一些解释,让他们明白会对他们造成影响的行为是如何做出的。

Percy Liang 的研究的另一个目的是确保 AI 能够理解自己的限制,而且能够和人类沟通自己的限制。传统上,测试 AI 系统的重要指标之一是平均准确率,但 Percy Liang 认为「对于 AI 的安全问题来说,这并不是一个多么好的讨论方式。毕竟,对于一个可靠性是 80% 的系统,人类到底应该怎么做呢?」

Percy Liang 其实也没打算追寻一个任何时候都能给出 100% 正确率的答案的系统。相比之下,他更希望的是,当系统对自己的答案不确定的时候,它能够明确表示出来。如果用户问系统:「我需要吃多少止疼药?」相比给出一个可能造成危险的不准确的预测,系统直接回答「我不知道」可能会更好一点。

Percy Liang 和团队针对这个问题提出的方法是尝试沿着模型的学习算法追踪模型的预测,一直反向追踪到模型参数产生的源头。他们希望这种方法——从训练数据的视角审视模型——可以成为开发、理解、诊断机器学习的标准方法的一部分。他解释道,这种方法可以联系到许多种不同的应用中,医学、计算机科学、自然语言理解系统,以及各种各样的商业数据分析应用。

「我觉得」,Percy Liang 总结说,「大家对于模拟测试起到的作用有一些混淆,有的人会完全回避模拟测试,而有的人却很喜欢在模拟测试中做完一切。也许我们需要改变整个研究文化,两种做法其实需要共存。」

正如采访中透露出的,Percy Liang 和他的团队希望给新一代的机器学习算法设置一个新的框架,让它们可以更可靠、更优雅地运行,当然也要带来更少的风险。

via futureoflife.org, AI 科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-02-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

大咖丨张钹院士:人工智能赶超人类的三大法宝

1103
来自专栏机器之心

深度 | 致开发者:2018 AI发展趋势

35711
来自专栏CSDN技术头条

深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战

在过去的三十年,深度学习运动一度被认为是学术界的一个异类,但是现在, Geoff Hinton(如下图1)和他的深度学习同事,包括纽约大学Yann LeCun和...

19410
来自专栏数据科学与人工智能

AI如何从令人失望到大行其道

人工智能(AI)问世之初曾经狂妄自大、令人失望,它如何突然变成当今最热门的技术领域?这个词语首次出现在1956年的一份研究计划书中。该计划书写道:“只要精心挑选...

3309
来自专栏PPV课数据科学社区

2017人工智能与机器学习年终盘点(重要工具资源汇总)

2017年是人工智能技术全面开火、勇猛精进的一年,也是对未来全球科技和经济影响深远的一年。 无论人工智能圈子内外的从业者,都开始正视这个可能会很快改变所有人命...

3969
来自专栏新智元

CVPR-17:谷歌大规模视频理解 Kaggle 挑战赛,首次加入音频特征

【新智元导读】谷歌昨天发布消息,更新了此前开源的含上万个视频的大规模数据集 Youtube-8M,新的数据集除了标签升级,还首次包含了预计算的音频特征(pre-...

3227
来自专栏机器之心

前沿 | 当 AI 掌握「读心术」:DeepMind AI 已经学会相互理解

有时候,我们会觉得 Siri 或 Alexa 等数字助理非常令人失望,因为它们根本不懂我们人类。它们需要懂点被心理学家称为「心智理论」(theory of mi...

671
来自专栏机器之心

专栏 | 香侬科技独家对话斯坦福大学计算机系教授Percy Liang

斯坦福大学计算机系助理教授、斯坦福人工智能实验室成员 Percy Liang 主要研究方向为自然语言处理(对话系统,语义分析等方向)及机器学习理论,他与他的学生...

920
来自专栏机器学习算法与Python学习

这是机器学习算法工程师最好的时代!

对人工智能而言,2017是不平凡的一年: AlphaGo再胜人类 腾讯宣布进军AI 百度无人驾驶汽车上五环 AI教育要从娃娃抓起 寒武纪成全球AI芯片首个独角兽...

3698
来自专栏AI科技评论

学界 | DeepMind提出强化学习新算法,教智能体从零学控制

AI 科技评论按:不管你让小孩还是大人整理物品,他们很大可能都不会乖乖听你的话,如果想要让 AI 智能体进行整理收拾,那就更难了。如果想成功,需要掌握如下几个核...

2725

扫码关注云+社区