可解释性与deep learning的发展

大家好,我叫张拳石,UCLA博士后。目前在朱松纯老师的实验室,带领一个团队,做explainable AI方向。本文的题目有些大,这篇短文中,我只简单谈谈个人对deep learning发展状况的感受,和我最近的explanatory graph for CNNs和interpretable CNN两个研究课题。希望大家批评指正。

当deep learning刚刚在CV圈子里面兴起的时候,我并没有第一时间给予足够的关注,直到几个月后,变革的巨浪拍下,旧方向消亡的速度和新技术诞生的节奏都大大超过我的预期。相信很多人都有类似的感觉。一方面,deep learning超强的performance终结了一批旧的算法。另一方面,相比于传统graph-based methods,deep learning大大降低了算法多样性,简化了算法设计的复杂度。一时间,做CV研究的思路变得非常清晰:设计一个新的loss,提出一个新的网络结构,把传统的heuristic方法hard encoded到网络结构中去实现端对端学习。一两项技术能够把CV领域改造到这种地步,deep learning为AI带来巨大的改变。

然而当端对端学习神经网络犹如烈火烹油迅速发展的时候,我和周围的很多学者不时的会感觉到一丝的隐忧:端对端的训练一个black-box model会一直平稳的向下发展吗?随着网络结构和loss function的设计越来越复杂,神经网络真的会按照设计老老实实的去表达人们希望它表达的知识吗?抱着这样的焦虑,很多学者致力于visualization of CNN knowledge,让CNN中每个unit的知识清晰的展现在人们的面前。更进一步,@周博磊定义出一系列标准去评测CNN知识的interpretability。

但是归根结底,在端对端学习之外,我觉得还需要找到一套新的神经网络操作工具,即让神经网络具有清晰的符号化的内部知识表达,去匹配人类自身的知识框架,从而人们可以在语义层面对神经网络进行诊断和修改。从logic-based专家系统,到graphical model,再到深度神经网络,模型的flexibility和performance逐渐提高。

但是,从相反的方向,把一个神经网络的内部逻辑转化成graphical representations,或者logic-based rules,从而提高知识表达的interpretability。有了清晰的内部表达,那么对神经网络的训练是不是不但可以end-to-end,而且可以end-to-middle,middle-to-middle?当网络内部一些单元具有了某种语义,那么transfer learning是不是直接在语义层面指派就好了,不需要大数据去训练了?当网络训练可以深入到网络的内部语义,或许deep learning未来的发展会有更多的可能性。

我希望一个CNN不仅仅告诉我它在某张图像上检测到一只小鸟,我还要CNN明确的告诉我,它用第一个filter去监测鸟头,第二个filter去检测鸟尾巴。因为这两个filter被这张图像触发,所以判断出图像中有一只小鸟。进一步,当我知道鸟的分类得分是0.7,我还希望CNN给出鸟头部分贡献了0.3的分数,鸟尾贡献了0.2。当CNN内部逻辑足够条理清晰,我们是否还需要通过大数据进行端对端的训练?我们能否在语义层面直接debug CNN呢?

沿着这条思路,在“Interpreting CNN knowledge via an Explanatory Graph”一文中,我主要介绍了如何把一个CNN(pre-trained for object classification)的conv-layer内部知识转化成一个graphical model。算法自动学习出一个explanatory graph with tens of thousands of nodes去解释CNN内部的hierarchical知识结构。Explanatory graph中每一个node,严格表示在CNN中某个conv-layer的某个object part pattern。这样我就可以把混乱的CNN的知识拆分成几十万个object parts的子patterns。每个子pattern有很强的可迁移性(transferability),比如在multi-shot part localization的上可以降低1/3—2/3的误差。

进一步,基于explanatory graph语义化的表达,我们能否把传统的graph-based technologies自然的融入CNN的学习之中呢?我不知道。

在另一篇文章"Interpretable Convolutional Neural Networks"中,我介绍了如何端对端的学习一个CNN,使得其内部高层conv-layer的每个filter自动的表示某个object part。算法并不需要人为的标注object parts或texture作为额外的supervision,而是为这些filters添加一个prior constraint,使得在训练过程中自动回归的某种object part。

我还会写两篇短文分别专门介绍这两篇文章的技术细节。

在时代的巨浪下,deep learning未来将向哪里发展?我不知道。我只能带着一颗敬畏的心,摸着石头过河,边走边瞧吧。

可解释性与deep learning的发展 https://zhuanlan.zhihu.com/p/30074544

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

人工智能大拿解答机器学习30个问答

这次参加的是 Yoshua Bengio,计算机科学家,毕业于麦吉尔大学,在MIT和AT&T贝尔实验室做过博士后研究员,自1993年之后就是蒙特利尔大学任教,与...

511
来自专栏量子位

第四范式陈雨强:万字深析工业界机器学习最新黑科技

转载自 第四范式公众号 近日,全球最顶级大数据会议Strata Data Conference在京召开。Strata大会被《福布斯》杂志誉为“大数据运动的里程碑...

3379
来自专栏新智元

【NIPS 2015】深度学习未来十大趋势

本周,我在加拿大蒙特利尔参加了NIPS(Neural Information Processing Systems,神经信息处理系统)2015年论坛。这是一次令...

3519
来自专栏AI科技评论

动态 | 你做我评:OpenAI和DeepMind全新的强化学习方法,根据人类反馈高效学习

AI 科技评论消息,近日OpenAI和DeepMind各自在网站上发文,介绍一篇他们合作研究、撰写的论文《Deep reinforcement learning...

33212
来自专栏镁客网

MIT人工智能实验室发力!让机器人告诉你5秒后的世界

1996
来自专栏AI研习社

深度学习的教学和课程,与传统 CS 的教学和课程有什么区别?

本文作者阿萨姆,整理自作者在问题《深度学习的教学和课程,与传统 CS 的教学和课程有什么区别?》下的回答, AI 研习社获其授权发布。 深度学习的课程和传统计算...

3078
来自专栏木可大大

大数据是什么(续)

从亚马逊到Facebook,再到谷歌和微软,全球最顶尖、最有影响力的技术公司都将目光转向了人工智能(AI)。本文将介绍AI、机器学习以及深度学习,其中着重介绍深...

972
来自专栏PPV课数据科学社区

【译文】统计建模的24种应用(上)

在这里,我们讨论统计模型的一般应用情况。不管他们是否源自数据科学,运筹学,工程学,机器学习或统计学,如决策树,logistic回归,贝叶斯模型,马尔可夫模型,数...

3204
来自专栏CDA数据分析师

关于 AI 丨不知道这些概念你就落伍了

? 作者 Adam Temper 编译 Mika 本文为 CDA 数据分析师原创作品,转载需授权 对所有事情都有一定了比拥有一项专业技能更实用。对于进入新...

4118
来自专栏人工智能头条

美国密歇根州立大学终身教授金榕:大数据的挑战与随机机器学习算法

1445

扫描关注云+社区