MIT适应性可解释机器学习项目旨在让机器学习模型走出黑盒

编译:chux

出品:ATYUN订阅号

应用程序为人们提供多种自动化决策,例如识别个人的信用风险是什么,通知招聘人员雇用哪个求职者,或确定某人是否对公众构成威胁。近年来,新闻警告说,未来机器在社会背景下运作,在使用不值得信任的逻辑的同时决定人类的生活方式。

这种恐惧的一部分源于许多机器学习模型运作的模糊方式。它们被称为黑盒模型,在这种系统中,即使是开发人员也无法理解从输入到输出的旅程。

“随着机器学习变得无处不在,并被用于具有更严重后果的应用程序,人们需要了解它是如何进行预测的,这样当它做的不仅仅是提供广告时,它们会相信它,”麻省理工学院林肯实验室的信息学和决策支持小组的技术人员Jonathan Su说。

目前,研究人员要么使用事后技术,要么使用可解释的模型(如决策树)来解释黑盒模型如何得出结论。利用事后技术,研究人员观察算法的输入和输出,然后尝试对黑盒内发生的事情进行近似解释。这种方法的问题在于研究人员只能猜测内部运作,而解释往往是错误的。决策树在树状结构中映射选择及其潜在后果,可以很好地处理其特征有意义的分类数据,但这些树在重要领域中无法解释,例如计算机视觉和其他复杂数据问题。

Su带领一个实验室的团队与杜克大学的Cynthia Rudin教授以及杜克大学的学生Chaofan Chen,Oscar Li和Alina Barnett合作,研究用更透明的预测方法取代黑盒模型的方法。他们的项目称为适应性可解释机器学习(Adaptable Interpretable Machine Learning,AIM),侧重于两种方法:可解释的神经网络以及可适应和可解释的贝叶斯规则列表(BRL)。

神经网络是由许多互连的处理元件组成的计算系统。这些网络通常用于图像分析和对象识别。例如,可以教导算法通过首先显示狗的照片来识别照片是否包括狗。研究人员表示,这些神经网络的问题在于它们的功能是非线性和递归的,对人类来说是复杂和令人困惑的,最终的结果是难以确定究竟是什么将照片中的事物定义为“dogness”,是什么导致了这个结论。

为解决这个问题,该团队正在开发所谓的“原型神经网络”。这些与传统神经网络的不同之处在于,它们通过创建原型自然地为每个预测编码解释,原型是输入图像的特别代表性部分。这些网络基于输入图像的各部分与每个原型的相似性来进行预测。

例如,如果网络的任务是识别图像是狗,猫还是马,它会将图像的各个部分与每只动物的重要部分的原型进行比较,并使用此信息进行预测。关于这项工作的论文:“This looks like that: deep learning for interpretable image recognition”。之前的一篇论文“Deep Learning for Case-Based Reasoning through Prototypes: A Neural Network that Explains Its Predictions”,将整个图像用作原型而不是部分。

研究小组正在研究的另一个领域是BRL,它是一种不那么复杂的单侧决策树,适用于表格数据,并且通常与其他模型一样准确。BRL由一系列条件语句组成,这些条件语句自然形成可解释的模型。例如,如果血压高,则患心脏病的风险很高。Su及其同事正在使用BRL的属性来使用户能够指出哪些特征对预测很重要。他们还在开发交互式BRL,可以在新数据到达时立即进行调整,而不是在不断增长的数据集中从头开始重新校准。

Stephanie Carnell是佛罗里达大学的研究生,也是信息学和决策支持小组的暑期实习生,他正在将AIM项目的互动BRL应用到一个项目中,以帮助医学生更好地面试和诊断患者。目前,医学生通过采访虚拟患者并获得他们能够发现多少重要诊断信息的分数来练习这些技能。但是得分并不包括对学生在面试中所取得的成绩的解释。AIM项目希望改变这一点。

“我可以想象,大多数医学生都非常沮丧地接受关于成功的预测而没有一些具体的理由,”Carnell说,“AIM生成的规则列表应该是为学生提供数据驱动,可理解的反馈的理想方法。”

AIM计划是人体系统工程实验室正在进行的研究的一部分,设计与人们思考和运作方式更加兼容的系统的实践,例如可理解的算法,而不是模糊的算法。

“实验室有机会成为将人类和技术结合在一起的全球领导者,”信息学和决策支持小组助理领导人Hayley Reynolds说,“我们正处于巨大进步的前沿。”

Melva James是参与AIM项目的信息学和决策支持小组的另一位技术人员,“我们在实验室开发了BRL和交互式BRL的Python实现,我们正在同时测试不同操作系统和硬件平台上BRL和交互式BRL实施的输出,以建立可移植性和可重复性。我们还在确定这些算法的其他实际应用。”

Su解释说:“我们希望为实验室建立一种新的战略能力,即机器学习算法,让人们了解它们以便相信它们。”

论文:arxiv.org/abs/1806.10574

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

大神Yann LeCun亲授:如何自学深度学习技术并少走弯路(3000字长文)

编者按:深度学习领域泰斗级人物 Yann LeCun 是 Quora上非常踊跃的答者,他乐于分享自己的心得体会。例如,有人问“你最喜欢的机器学习算法是什么?”,...

4379
来自专栏大数据文摘

[案例]网易云音乐的个性化推荐

2544
来自专栏量子位

吴恩达对话LeCun:神经网络跌宕四十年

最近,这位AI领域的传奇大牛,接受了另一位大牛吴恩达的视频专访。在这次对话中,LeCun回顾了卷积神经网络、反向传播的历史,以及他如何从一个默默无闻的“法国小孩...

1162
来自专栏人人都是极客

如何加速深度学习?GPU、FPGA还是专用芯片

计算机发展到今天,已经大大改变了我们的生活,我们已经进入了智能化的时代。但要是想实现影视作品中那样充分互动的人工智能与人机互动系统,就不得不提到深度学习。

981
来自专栏机器之心

深度学习在NLP领域成绩斐然,计算语言学家该不该惊慌?

选自Nautil 作者:Christopher D. Manning 机器之心编译 机器翻译、聊天机器人等自然语言处理应用正随着深度学习技术的进展而得到更广...

38412
来自专栏机器之心

深度 | 吴恩达对话Yann LeCun:从相识Hinton到深度学习崛起

机器之心整理 机器之心编辑部 深度学习专项课程 Deeplearning.ai 中,也包含吴恩达和多位深度学习大牛的对话视频,之前 YouTube 上已经公开了...

2895
来自专栏CSDN技术头条

深度学习 vs 概率图模型 vs 逻辑学

【编者按】在上个月发表博客文章《深度学习vs机器学习vs模式识别》之后,CMU博士、MIT博士后及vision.ai联合创始人Tomasz Malisiewi...

1987
来自专栏量子位

再谈“炼金术”:可以使用不严谨的方法,但拒绝不严谨的评估方法

原作:inFERENCe 安妮 编译自 inference.vc 量子位 出品 | 公众号 QbitAI 昨天,NIPS大会中“Test of Time”最具时...

2605
来自专栏AI科技大本营的专栏

四个月速成全栈机器学习?这位黑人小哥三个半月就开始找工作了

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。 光说不练在这里没用,咱们还是要看真实的故事,来看看黑...

3738
来自专栏企鹅号快讯

第一篇:模仿游戏

有一部科幻电影叫《超体》,主题是人类一直以来的一个传说,“人类目前只开发了大脑10%的潜能。如果大脑潜能被进一步开发,那么人类将拥有更强的能力。”具体有哪些能力...

2056

扫码关注云+社区

领取腾讯云代金券