【深度】可解释性与deep learning的发展

来源:知乎 -Qs.Zhang

https://zhuanlan.zhihu.com/p/30074544

【导读】大家好,我叫张拳石,UCLA博士后。目前在朱松纯老师的实验室,带领一个团队,做explainable AI方向。本文的题目有些大,这篇短文中,我只简单谈谈个人对deep learning发展状况的感受,和我最近的explanatory graph for CNNs和interpretable CNN两个研究课题。希望大家批评指正。

当deep learning刚刚在CV圈子里面兴起的时候,我并没有第一时间给予足够的关注,直到几个月后,变革的巨浪拍下,旧方向消亡的速度和新技术诞生的节奏都大大超过我的预期。相信很多人都有类似的感觉。一方面,deep learning超强的performance终结了一批旧的算法。另一方面,相比于传统graph-based methods,deep learning大大降低了算法多样性,简化了算法设计的复杂度。一时间,做CV研究的思路变得非常清晰:设计一个新的loss,提出一个新的网络结构,把传统的heuristic方法hard encoded到网络结构中去实现端对端学习。一两项技术能够把CV领域改造到这种地步,deep learning为AI带来巨大的改变。

然而当端对端学习神经网络犹如烈火烹油迅速发展的时候,我和周围的很多学者不时的会感觉到一丝的隐忧:端对端的训练一个black-box model会一直平稳的向下发展吗?随着网络结构和loss function的设计越来越复杂,神经网络真的会按照设计老老实实的去表达人们希望它表达的知识吗?抱着这样的焦虑,很多学者致力于visualization of CNN knowledge,让CNN中每个unit的知识清晰的展现在人们的面前。更进一步,@周博磊定义出一系列标准去评测CNN知识的interpretability。

但是归根结底,在端对端学习之外,我觉得还需要找到一套新的神经网络操作工具,即让神经网络具有清晰的符号化的内部知识表达,去匹配人类自身的知识框架,从而人们可以在语义层面对神经网络进行诊断和修改。从logic-based专家系统,到graphical model,再到深度神经网络,模型的flexibility和performance逐渐提高。但是,从相反的方向,把一个神经网络的内部逻辑转化成graphical representations,或者logic-based rules,从而提高知识表达的interpretability。有了清晰的内部表达,那么对神经网络的训练是不是不但可以end-to-end,而且可以end-to-middle,middle-to-middle?当网络内部一些单元具有了某种语义,那么transfer learning是不是直接在语义层面指派就好了,不需要大数据去训练了?当网络训练可以深入到网络的内部语义,或许deep learning未来的发展会有更多的可能性。

我希望一个CNN不仅仅告诉我它在某张图像上检测到一只小鸟,我还要CNN明确的告诉我,它用第一个filter去监测鸟头,第二个filter去检测鸟尾巴。因为这两个filter被这张图像触发,所以判断出图像中有一只小鸟。进一步,当我知道鸟的分类得分是0.7,我还希望CNN给出鸟头部分贡献了0.3的分数,鸟尾贡献了0.2。当CNN内部逻辑足够条理清晰,我们是否还需要通过大数据进行端对端的训练?我们能否在语义层面直接debug CNN呢?

沿着这条思路,在“Interpreting CNN knowledge via an Explanatory Graph”一文中,我主要介绍了如何把一个CNN(pre-trained for object classification)的conv-layer内部知识转化成一个graphical model。算法自动学习出一个explanatory graph with tens of thousands of nodes去解释CNN内部的hierarchical知识结构。Explanatory graph中每一个node,严格表示在CNN中某个conv-layer的某个object part pattern。这样我就可以把混乱的CNN的知识拆分成几十万个object parts的子patterns。每个子pattern有很强的可迁移性(transferability),比如在multi-shot part localization的上可以降低1/3—2/3的误差。

进一步,基于explanatory graph语义化的表达,我们能否把传统的graph-based technologies自然的融入CNN的学习之中呢?我不知道。

在另一篇文章"Interpretable Convolutional Neural Networks"中,我介绍了如何端对端的学习一个CNN,使得其内部高层conv-layer的每个filter自动的表示某个object part。算法并不需要人为的标注object parts或texture作为额外的supervision,而是为这些filters添加一个prior constraint,使得在训练过程中自动回归的某种object part。

我还会写两篇短文分别专门介绍这两篇文章的技术细节。

在时代的巨浪下,deep learning未来将向哪里发展?我不知道。我只能带着一颗敬畏的心,摸着石头过河,边走边瞧吧。

欢迎转发分享到微信群和朋友圈!

获取更多关于机器学习以及人工智能知识资料,请访问www.zhuanzhi.ai

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2017-10-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小文博客

性感与色情有多远——你不知道的图片鉴黄那些事儿

3725
来自专栏腾讯技术工程官方号的专栏

艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频

腾讯18周年庆当天,腾讯人工智能实验室(AI Lab)首次发布深度网络学习视频案例——《青春无畏,冲动不止》庆生视频的艺术滤镜版本 今年风靡业界的Prisma以...

2237
来自专栏CDA数据分析师

数据科学人才: 如何顺藤摸瓜提高你的竞争力

摘要 基于一项针对620多位数据专家的调查研究,我们发现数据科学技能分为三个分支:行业知识背景(本文特指商业),技术/编程和数学/统计。这项研究将影响目前数据科...

24610
来自专栏华章科技

LeCun:智能的精华在于预测能力!“预测学习”了解一下!

导读:在NIPS 2016大会上,著名研究者LeCun提出了预测学习(predictive learning)概念。在他的讲稿中,将机器学习比喻为“蛋糕”:

1253
来自专栏新智元

【DeepMind重大突破】DNN具有人类行为,认知心理学破解黑箱

【新智元导读】DeepMind 的最新论文称自己“首次”将认知心理学方法引入了对深度神经网络黑箱的理解研究中,并用认知心理学的方法发现了深度神经网络存有和人类儿...

3435
来自专栏CDA数据分析师

一文读懂机器学习,大数据/自然语言处理/算法全都有!

在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外...

2588
来自专栏机器学习算法与Python学习

值得收藏的27个机器学习的小抄

1534
来自专栏AI科技大本营的专栏

首发|机器学习未来十年:你需要把握的趋势和热点

CSDN 出品的《2018-2019 中国人工智能产业路线图》V2.0 版即将重磅面世!

941
来自专栏AI科技大本营的专栏

AI大行其道,你准备好了吗?——谨送给徘徊于转行AI的程序员

作者 | 章华燕(金桥智慧科技) 前言 近年来,随着 Google 的 AlphaGo 打败韩国围棋棋手李世乭之后,机器学习尤其是深度学习的热潮席卷了整个IT...

3425
来自专栏企鹅号快讯

智能识别技术 让计算机看懂世界

互联网发展之初受到网络带宽、数据存储等相关技术的限制,信息传播以单模态形式为主,如文字报道、图像相册等。进入大数据时代,信息传播变得丰富多彩,人们从互联网中同时...

24210

扫码关注云+社区

领取腾讯云代金券