Facebook 交互式神经网络可视化系统,应对海量数据和复杂模型

【新智元导读】神经网络模型的可视化是解决其黑箱问题的一个解决方案,但用于神经网络可视化的大多数工具集中在图像数据集上,这激发了 Facebook 和 Georgia Tech 一道开发了一款称为 ActiVis 的开发工具的研究,这是一个用于解释大规模神经网络模型和结果的交互式可视化系统。ActiVis 将用户指定的实例或实例子集如何激活神经元进行可视化,以帮助用户了解模型如何生成其预测。用户可以自由地定义具有原始数据属性、变换特征和输出结果的子集,从多个角度实现模型检查。

关于神经网络的“黑箱”问题已经有很多讨论了。复杂的模型在预测性任务中表现良好,但如果想要回溯系统是如何得出结果的,就缺少明确的方法来了解哪里对了或者哪里出错了,也不知道模型是如何得出结论的。

对于老式的机器学习模型来说,这还算不上是个问题,但现在的机器学习模型都是非线性隐藏数据结构,还有数不清的参数,这个问题就凸显出来了。在神经网络部署的研究者看来,黑箱可重现性的缺乏代表着验证障碍,而对于深度学习框架的开发者来说,问题还不止于此。无法观测神经网络的内部运作,会造成模型在性能、效率和准确性上的优化困难。

一个解决方案是神经网络模型的可视化,社交媒体巨头 Facebook 与 Georgia Tech 的研究人员正聚焦于这一方案。Facebook的深度学习用例并不限于图像分析,这意味着不同的数据类型被馈送到了模型中。不幸的是,用于神经网络可视化的大多数工具集中在图像数据集上,这激发了 Facebook 一款称为 ActiVis 的开发工具的研究,这是一个用于解释大规模神经网络模型和结果的交互式可视化系统。

Georgia Tech 团队一年多以前开始与 Facebook 工程师合作,了解他们的分析平台以及可视化工具的适用条件。创建这样一个工具,除了关键技术的挑战之外,它还必须能够“灵活且可泛化到各种各样的模型和数据集,像 Facebook 这样的公司会在许多产品和服务中使用这些模型和数据集,且能够网格化到 Facebook 现有的机器学习平台之中。

该平台由几种不同的机器学习元素组成。Facebook 统一的 ML 平台的核心是 FBLearnerFlow,可以协调不同的机器学习工作流。Flow 的目标是让他们的开发人员在不编写代码的情况下训练模型并查看结果。

ActiVis 对可视化以及多个实例和子集的比较的解释策略都支持。它统一了实例和基于子集的检查,并将复杂模型和本地化检测进行了紧密的整合,且能放大到多样的工业规模的数据集和模型。这对于希望将现有模型用于数据,而又不想被实施阶段的各种麻烦困扰的人来说,是 Facebook 里面一个非常宝贵的工具。ActiVis 特别关注 FBLearner Flow 可视化,部分原因在于用户群。

“ActiVis 将用户指定的实例或实例子集如何激活神经元进行可视化,以帮助用户了解模型如何生成其预测。用户可以自由地定义具有原始数据属性、变换特征和输出结果的子集,从多个角度实现模型检查。”

Georgia Tech 团队表示,对于任何一个设计这样规模的可视化系统的人来说,有几个因素可以为神经网络虚拟化分析创造一个坚实的平台。他们指向了输入源和数据格式的多样性,高数据量,复杂的模型架构——等等等等,在技术上特别应对了提供不同子集定义和基于实例和分组分析策略的需求。

该团队表示,想要使用可视化工具的 Facebook 开发人员添加了几行代码,这些代码说明了 FBLearner Flow 界面中模型的训练过程,它需要生成可视化所需的数据。在训练结束时,该界面提供了一个链接到基于 Web 的工具,以进行可视化和模型考察。

“ActiVis 旨在与 Facebook 上的许多不同的模型和数据集协同工作。”研发团队说,“由于复杂的模型和大型数据集是常用的,因此,ActiVis 具有可扩展性和灵活性,这样工程师就可以轻松地在其模型上使用 ActiVis ,用户则可以对模型视觉化并加以考察,来分析任务。

最后我们要说,其实用可视化神经网络来解决黑箱问题不是什么新鲜事,但随着模型越来越复杂——因为硬件发展和数据变多——对这些工具的需求将更加迫切。在接下来的一年或以后,我们可以期待看到,和包括 TensorFlow、Caffe 和其他关键平台相关的、用于开发和科学计算(都需要结果验证)的可视化工具的开源和商业动作。

原文链接:https://www.nextplatform.com/2017/04/12/look-facebooks-interactive-neural-network-visualization-system/

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-04-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏祝威廉

如何实现AutoML--让机器先做出Baseline

我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节,每个环节输出唯一一个结果,这样可以极大的简化搜索空间。比如我...

12710
来自专栏机器之心

业界 | 人人都能用的深度学习:当前三大自动化深度学习平台简介

20740
来自专栏CSDN技术头条

深度学习入门之工具综述

【摘要】本文评估了当前热门的深度学习工具,对于想进行深度学习开发的团队来说,可以参考一二。以下为译文: 在硅谷数据科学公司里,我们的研发团队调研了从图像识别到语...

22860
来自专栏IT派

业界 | 人人都能用的深度学习:当前三大自动化深度学习平台简介

数据科学领域有一部分研究者和开发者已经选择学习这些新技术了,但在预测性和规范性建模的问题类型和技术方面(我们 90% 的工作就是这些),学习深度学习技术却与我们...

14630
来自专栏量子位

六大你应该了解的人工智能和机器学习核心领域

到底什么是人工智能(AI)? 有些人把AI重新解释为“认知计算”或“机器智能”,而其他人错误的将AI与“机器学习”混淆起来。其实AI不是一种技术。它实际上是一个...

21350
来自专栏新智元

【AI 工厂】Facebook 计算机视觉 Lumos平台,内容理解之上的图像技术

【新智元导读】Facebook 官方博客最新发表文章,详细介绍其 AI 平台 FBLearner Flow 及建立在上面的专用于图像和视频理解任务的 Lumos...

31090
来自专栏企鹅号快讯

深度学习的核心:掌握训练数据的方法

Hello World! 今天我们将讨论深度学习中最核心的问题之一:训练数据。深度学习已经在现实世界得到了广泛运用,例如:无人驾驶汽车,收据识别,道路缺陷自动检...

23180
来自专栏机器人网

三个自动化深度学习平台比较和盘点

数据科学领域有一部分研究者和开发者已经选择学习这些新技术了,但在预测性和规范性建模的问题类型和技术方面(我们 90% 的工作就是这些),学习深度学习技术却与我们...

18020
来自专栏量子位

谷歌有只AI,自动给黑白视频上色,走到哪它都认识你

13050
来自专栏PPV课数据科学社区

【推荐】三个你在书中无法学到的数据分析知识

在大数据特别热门的今天,出现了各种培训课程。但我发现这些课程的重点都放在算法的学习上。如何理解logistic回归或深度学习的确很酷,但一旦你开始处理数据,你会...

33040

扫码关注云+社区

领取腾讯云代金券