抱歉,你查看的文章不存在

神经网络可解释性对具体应用的推动

来源:知乎-Qs.Zhang张拳石

https://zhuanlan.zhihu.com/p/37638100

我很高兴近期越来越多人开始关注神经网络内部表达可解释性的问题。请登录http://qszhang.com查看UCLA团队在可解释性方向做的10+篇论文。

虽然神经网络可解释性的研究方兴未艾,但是相关课题都必须要面对一个重要问题,即“可解释性到底有什么用”?可解释性的意义看似不言而喻,但“到底有什么用”其实是个很难回答的问题。

目前神经网络可解释性领域中相关研究的用途大致可以分类为以下三个层面:

1. 神经网络知识表达的可视化、结构化、和语义化,即open the black box,让人看明白一个神经网络建模了哪些视觉特征。目前大部分关于网络可解释性的研究工作,在做这个问题。

2. 对神经网络的预测结构给出定量的评测和解释。定量的解释关系到神经网络是否能够赢得人们的信任。如果我们仅仅让神经网络在ImageNet上做图片分类,那么可解释性可能不那么重要。但是,如果人们需要神经网络做出重大判断,比如对手术方案的推荐或对金融投资方案的推荐,人们往往需要具体每个预测结果做出定量的解释,以赢得人们的信任。比如,当神经网络为某个预测结果打分为0.9,那么人们希望知道0.9中多少得分来源于因素A,多少得分来源于因素B,多少得分是很难解释出来的。

3. 无监督或弱监督地将神经网络混乱的知识表达简化为可解释的图模型表达,并基于语义层面可解释的图模型,进行“中层对端”的训练和学习。如何把神经网络的黑箱表达拆分为具有特定功能的网络模块,如何把中层卷积核的混合特征表达拆分成语义明确的特征表达,是两个挑战。进而,基于从神经网络中拆分出来的模块化语义表达,直接对神经网络的中层特征进行debug,进行弱监督学习,可能会成为不错的研究方向。这样,深度学习算法将不会被限制在“端对端”的范畴内,而是像搭积木一样直接组合中层的功能模块,实现某种新的功能,实现小样本弱监督学习。

团队的前期工作已经涵盖了以上三个方面。当然这些工作只是万里长征的第一步,把一个新的概念用数学建模起来,提出solid的解决方案,任重而道远。

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

专知

989 篇文章344 人订阅

相关文章

来自专栏AI科技评论

学界|北京大学王立威教授:机器学习理论的回顾与展望(一)

本文由奕欣,夏睿联合编辑。 AI科技评论按:本文根据王立威教授在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《机器学习理论:回顾与展望...

397110
来自专栏数说工作室

造出一艘logistic模型 | 【logistic从生产到使用】(上) | 数说 · 算法

前几天飞扬博士更新了一篇算法文章,关于softmax regression的,它是logistic模型的扩展,因此要是能有些logistic regressi...

38950
来自专栏新智元

【深度学习并非万能】全方位对比深度学习和经典机器学习

近年来,深度学习已成为大多数AI问题的首选技术,使得经典机器学习相形见绌。原因很明显,深度学习在语音、自然语言、视觉和游戏等许多任务上都表现出卓越的性能。然而...

36460
来自专栏量子位

这个AI能预测未来并生成逼真的视频(论文来自谷歌大脑、北航等)

问耕 若朴 编译整理 量子位 报道 | 公众号 QbitAI 先展示成果。下面是一组动图,展示的是AI如何根据一段视频,脑补出未来64帧的画面。 观看说明:当视...

47160
来自专栏AI研习社

高级数据科学家阿萨姆:如何应对机器学习过程中的多项选择问题?| 分享总结

AI 研习社按:随着硬件算力的上升、数据量的加大以及各种新算法的浮现,机器学习也变得一天比一天火热。不夸张的说,这是机器学习的时代。然而,机器学习虽然能够给出惊...

36960
来自专栏小詹同学

深入浅出谈谈深度学习~

深度学习第①篇(文末附大量资料) ? 一、深度学习的起源与概念 深度学习的概念由Hinton等人于2006年提出。深度学习可以简单理解为传统神经网络的拓展。如下...

35460
来自专栏AI科技评论

学界 | 迁移学习效果优化不再是难题,杨强教授团队带来自动找到最佳算法的L2T

AI 科技评论按:近日,香港科技大学杨强教授团队发表了一篇关于迁移学习的论文。在论文中,他们提出了一种新颖的迁移学习范式 Learning to Transfe...

35280
来自专栏机器学习算法工程师

《机器学习》笔记-计算学习理论(12)

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一...

16340
来自专栏企鹅号快讯

康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率...

43360
来自专栏IT派

IBM长文解读人工智能、机器学习和认知计算

导语:人类对如何创造智能机器的思考从来没有中断过。期间,人工智能的发展起起伏伏,有成功,也有失败,以及其中暗藏的潜力。今天,有太多的新闻报道是关于机器学习算法的...

354140

扫码关注云+社区

领取腾讯云代金券