资源 | Darkon:可更好理解深度学习模型的开源工具包

选自darkon

机器之心编译

参与:黄小天

由于难以理解,深度学习经常被称为黑箱。有鉴于此,Neosapience 开发了开源工具包 Darkon,它可以更好地理解深度学习模型,进而调试故障,解释决策等等。目前 Darkon 适用于所有 Tensorflow 模型。

项目地址:http://darkon.io/

Darkon 是一个更好地理解深度学习模型的开源工具包。由于难以理解,深度学习经常被称为黑箱。但是,可解释性与可控性是深度学习模型商业化推广的关键。人们通常认为准备性数据集上实现的高精度足以将模型进行商业化推广,但实际情况却是经常在实际应用中遭受失败,并会导致极端案例的出现。进而,有必要在医疗诊断、金融决策等一些应用中解释结果以信任系统。我们希望 Darkon 可以帮助你理解已训练模型,进而调试故障,解释决策等等。

本文中,我们将提供轻易分析深度学习模型的功能,它适用于任何 Tensorflow 模型(稍后会支持其他模型)。影响值在通过训练样本理解模型方面非常有用。分值可用于过滤拉低测试表现的不良训练样本。优先考虑修复被错误标注的潜在实例,并调试训练和测试样本之间的不匹配分布很有帮助。在本版本中,我们添加了 Grad-CAM 和有指导的 Grad-CAM,这对于理解 CNN 模型的决策很有帮助。

我们会慢慢使轻松分析深度学习模型的技术应用到你现有的项目之中。更多功能也将很快公布。

Demo

该 demo 展示了影响值的实例使用。如果你选择预训练网络和一个特定的测试样本,你可以在预测中看到结果,以及有益或有害的训练样本。训练样本通过影响值被分类,其中最高值对应于有益的样本,最低值对应于有害的样本。

Demo 地址:https://darkon-demo.herokuapp.com/

依赖项

  • Tensorflow>=1.3.0:https://github.com/tensorflow/tensorflow

安装

只安装 Darkon

pip install darkon

带有 TensorFlow CPU 的安装

pip install darkon[tensorflow]

带有 TensorFlow GPU 的安装

pip install darkon[tensorflow-gpu]

参考

[1] Cook, R. D. and Weisberg, S.「Residuals and influence in regression (https://www.casact.org/pubs/proceed/proceed94/94123.pdf)」, New York: Chapman and Hall, 1982

[2] Koh, P. W. and Liang, P.「Understanding Black-box Predictions via Influence Functions (https://arxiv.org/abs/1703.04730)」ICML2017

[3] Pearlmutter, B. A.「Fast exact multiplication by the hessian (http://www.bcl.hamilton.ie/~barak/papers/nc-hessian.pdf)」Neural Computation, 1994

[4] Agarwal, N., Bullins, B., and Hazan, E.「Second order stochastic optimization in linear time (https://arxiv.org/abs/1602.03943)」arXiv preprint arXiv:1602.03943

[5] Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra「Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization (https://arxiv.org/abs/1610.02391)」ICCV2017

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【超级干货】177页鲁棒机器学习教程(附PPT全文下载)

这个短期课程讨论了从有监督的机器学习中获得可靠决策的问题。它试图总结关于我们如何创建机器学习分类器的当前知识,这些分类器在进行预测时可以保证预测的正确性和高概率...

1373
来自专栏数据派THU

【资源】只需十四步:从零开始掌握Python机器学习

来源:机器之心 作者:Matthew Mayo 校对:丁楠雅 编辑:胡蝶 原文可参阅:http://suo.im/KUWgl 和 http://suo.im/9...

2216
来自专栏算法channel

AI 储备系列索引目录

为了更好地进入AI 领域,一些重要的概念,是不得不去自习体会的,为了方便大家查阅,在此将已推送的消息索引在这里: 1 机器学习储备(1):协方差和相关系数 概率...

3386
来自专栏杨熹的专栏

TensorFlow-11-策略网络

今日资料: 《Tensorflow 实战》-策略网络 代码: https://github.com/awjuliani/DeepRL-Agents/blo...

3235
来自专栏AI科技大本营的专栏

AI 技术讲座精选:用Keras和Gym实现深度强化学习

综述 ? 本篇博文将向大家演示,如何在仅仅运用78行代码的情况下,利用 Keras 和 Gym 实现深度强化学习,使得 CartPole 这款游戏得以成功运行...

30512
来自专栏机器之心

深度 | 详解首个系统性测试现实深度学习系统的白箱框架DeepXplore

选自The Foretellix Blog 作者:Yoav Hollander 机器之心编译 参与:吴攀、晏奇 五月份,来自哥伦比亚大学和理海大学的几位研究者...

38010
来自专栏量子位

Facebook开源移动端深度学习加速框架,比TensorFlow Lite快一倍

Facebook发布了一个开源框架,叫QNNPACK,是手机端神经网络计算的加速包。

1582
来自专栏新智元

【大咖读论文】田渊栋评 DeepMind 深度强化学习的异步算法

【新智元导读】在ICML2016上,谷歌 DeepMind 有9篇论文被接收,新智元特邀Facebook 人工智能实验室研究员田渊栋对其中的《 深度增强学习的异...

4145
来自专栏AI科技大本营的专栏

AI 技术讲座精选:数学不好,也可以学好人工智能(五)——深度学习和卷积神经网络

【AI100 导读】欢迎阅读《数学不好,也可以学好人工智能》系列的第五篇文章。如果你错过了之前的四部分,一定记得把它们找出来看一下!本文主要介绍了深度学习架构—...

41410
来自专栏旭的专栏

机器学习之离散特征自动化扩展与组合

机器学习中特征工程处于十分重要的位置,整个学习中至少会花二分之一甚至更多的时间用于特征工程至少(对于统计学习)。但是如何能够有效地实现特征的自动化扩展、组合和量...

1.3K1

扫码关注云+社区

领取腾讯云代金券