学界 | 人工智能的圣杯:关于可解释AI(XAI)的一切

大数据文摘出品

编译:江泽斌、韦振琛、钱天培

在过去十年间,无数个人工智能解决方案在各大企业得到部署。

智能受众评测系统、智能财务合规系统、智能人员招聘系统,不一而足。

这期间,在企业客户却也始终存在一种怀疑态度:AI系统做出的产品部署是否真的值得被信赖呢?

在我看来,这也是企业人工智能要着力攻克的下一个难题。

错误的客户流失预测会使企业失去一个重要的客户,而错误的金融交易分类会使企业蒙受资金损失。实际上,客户对人工智能模型的精确度不是特别在意,他们更担心的是数据科学家们无法解释的一个问题:“我如何相信它做出的决策?”

AI系统--我如何信任它们?

在大多数支持AI的数字化转型中,客户喜欢让他们的系统拥有AI的能力以实现某些商业价值主张。另一方面,大多数数据科学家则追求使用最流行的算法(如DNN/GAINS/DRN等)。遗憾的是,他们都忘记了在决策制定过程中的问责机制和信任机制中存在着一个关键因素。

在现实生活中,每一个决策,无论是由机器还是低级员工又或是首席执行官做出的,为了达到提高整体的业务水平的目的,都要通过定期的审查,来解释他们的决定。这就产生了人工智能的新兴分支,称为“可解释的人工智能”(XAI)。

什么是可解释的AI(XAI)?

XAI是人工智能的一个新兴分支,用于解释人工智能所做出的每一个决策背后的逻辑。下图是对一个完整AI决策流程的简单描述。

除了对上述问题提供解决方案之外,XAI还具有更深层的业务优势,例如:

  • 改善AI模型的性能。因为XAI的解释有助于找到数据和特征行为中的问题。
  • 更好的决策部署。因为XAI的解释为中间人提供了额外的信息和信心,使其可以可以明智而果断地行动。
  • 提供一种控制感。因为AI系统的所有者清楚地知道其AI系统行为和边界的杠杆。
  • 提供一种安全感。因为每一个决定都需要通过安全指南,且对违规行为还会发出警告。
  • 与利益相关者建立信任关系。他们可以清晰看到每一个决策背后的逻辑推理。
  • 可监控由于训练数据偏差导致的道德问题和违规。
  • 提供更好的机制来遵循组织内的问责要求,以进行审计和其他目的。
  • 更好地遵守监管要求(比如《通用数据保护条例》GDPR),其中要求一个系统必须具有“解释权”。

AI系统部署中的角色

要实现可解释AI,我认为关键不在于工具和技术,而在于人类在这些人工智能系统中所扮演的角色。从广义上讲,我们可以用三个方面定义他们:

训练者--训练系统达到预期的功能行为

解释者-解释系统做出的决定

维护者-维持AI系统对业务KPI的效用

训练者

客户语言训练师

*教AI系统体会言外之意,例如检测讽刺

智能机器交互建模师

*学会员工行为,例如,一个AI系统可以从会计行为中学习如何自动匹配支出款项和发票。

*世界观训练师

使AI系统拥有全球化的观点。当做决定时不同文化的观点都要被考虑,比如判断一个算法是否“公平”

解释者

*背景设计师

根据业务背景,正在处理的任务,或个人或专业或文化等因素的不同设计更好的决策。

*透明度分析师

对使用不同类型的AI算法的不透明度(以及对业务的相应影响)进行分类,并对该信息库存进行维护

*AI落地策略

决定是否对特定的应用部署AI系统(或是应用传统的规则引擎和脚本)

维护者

*自动化伦理分析师

评估智能机器的非经济影响,包括正面和负面的

*自动化经济分析师

评估性能不良机器的成本

*机器关系管理者

"推广"在业务中表现良好的算法,并“降级”性能较差的算法

对于训练者和维护者的角色来说,他们有大量的工具可以使用。但对解释者来说,情况就不那么乐观了。人工智能/机器学习算法在本质上是著名的黑箱理论的一种,因为它的基于训练数据的大量非线性性质的权重和偏差的学习机制。因此,解释者的任务变得异常艰难。

XAI--关键维度

XAI有三个关键维度:合理的,可追踪的,可理解的。

合理的AI:能够理解每个预测背后的推理。

可追踪的AI:追踪预测过程的能力,可从数学算法的逻辑到数据的本质。

可理解的AI:完全理解做出AI决策所基于的模型。

XAI-设计原则

将XAI从概念转化为部署AI解决方案的8个原则如下

设计

一个着眼于社会影响力的AI

定义

数据集的出处,使用和保护标准

测试

系统发布前要进行全面测试

使用

使用透明

监控

发布后要严格监控

培训

工作能力培训和再培训

保护

隐私数据

构建

审计算法的工具和标准

XAI-主要技巧

XAI有两个主要技巧:

已知模型技巧:在这里有两类技巧。第一类技巧旨在解释现有的ML算法,第二类技巧则旨在研究新的白盒模型,以获得完全解释的能力。

未知模型技巧:通过入侵操作模型而在操作模型之外工作。一种称为LIME的技术主要用于估计决策的局部边界。

我在过去的经历中广泛使用了LIME库,加上自然语言生成技术,为维护者和操作者进行了叙述。

下面给出了当下算法精确度和可解释性的关系图

XAI的未来:

XAI领域有很好的发展前景,可以帮助企业解决AI的不足。例如:

精确的模型:XAI可同时支持维护者和训练者改进他们的模型,并使其持续下去。

值得信赖的模型:当XAI使得AI内部工作透明化时,XAI将有助于建立企业和其他监管行业的信心。

自然语言解释:XAI将通过自然语言(语音或文本)来解释它的决定,而不是通过分析表或复杂的仪表盘。这会要求自然语言解释与XAI的启发式探索结合起来使用。

对抗性使用(滥用):XIA的LIME技术和深度学习的GAIN技术,可以用于在外部破译给定的AI模型。这将导致组织需要使用政策和法规以及多层安全措施来保护其AI模型。

与机器协作:XAI将建立起信任的桥梁,使人类能够在方方面面中适应并习惯与机器智能一起工作。

相关报道:

https://www.kdnuggets.com/2018/10/enterprise-explainable-ai.html

【今日机器学习概念】

Have a Great Definition

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

大数据对智能交通的三个价值

在智慧城市创新方面,大多数例子对于普通居民来说并不那么陌生。比如说一个互联的垃圾桶,红绿灯或停车计时器并不会引起市政官员的掌声和崇拜,至少在一开始是这样的。但随...

23100
来自专栏PPV课数据科学社区

重磅 | Facebook机器学习应用负责人J.Candela:如何将人工智能技术应用于产品

Joaquin Quiñonero Candela是Facebook 机器学习应用团队的负责人。他曾在微软剑桥研究院工作,还是微软Bing团队的一员。Joaq...

37850
来自专栏PPV课数据科学社区

【学习】人工智能\\机器学习\\统计学\\数据挖掘之间有什么区别?

前段时间,作者在 stats.stackexchange.com(译注:国外的一个系列问答网站,其中Stack Overflow是其中一个子站)看到一个...

26380
来自专栏AI科技评论

百度IDL主任林元庆解读:人工智能技术研发的四大支柱

近日,百度深度学习实验室主任林元庆在百度年终媒体分享会上做了《看懂AI-百度技术开放日》的演讲,从客观层面阐述了人工智能技术研发的四大支柱,为我们呈现了让人工智...

406130
来自专栏机器之心

专访 | 网易有道 CEO 周枫:需求为先的 AI 技术赋能

机器之心原创 作者:邱陆陆 机器翻译领域正经历又一次骤雨疾风般的变革。2014 年,Yoshua Bengio 组做出了第一个循环网络编码器-解码器神经机器翻译...

36480
来自专栏云计算

云端生存思考之三:算法制胜,工程亦然

什么是云计算?云计算代表的是社会的量化管理趋势,以大数据的形式表达出来。由于宣传的原因,人人以为大数据就是统计,云计算就是Hadoop,其实我们工程领域的某些计...

22050
来自专栏AI科技大本营的专栏

CCAI专访 | 杨强教授谈深度学习泡沫、迁移学习机遇与人工智能入门

文 | 胡永波 7 月 22 - 23 日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(C...

436100
来自专栏PaddlePaddle

技术|深度学习行业应用及就业方向大猜想

一直以来,大家都在盛传深度学习是工程师的风口,但是对于深度学习和行业的联系却很少被提及。

15510
来自专栏数据科学与人工智能

【机器学习】人工智能\\机器学习\\统计学\\数据挖掘之间有什么区别?

前段时间,作者在 stats.stackexchange.com(译注:国外的一个系列问答网站,其中Stack Overflow是其中一个子站)看到一个很有意思...

26350
来自专栏企鹅号快讯

智能刷脸,打开新“视界”

不久前,在2017年美国国家标准与技术研究院组织的全球人脸识别技术测试上,一支中国人工智能技术团队超过来自俄罗斯、美国、法国的对手,成为第一个获得冠军的中国团队...

22590

扫码关注云+社区

领取腾讯云代金券