2016:深度学习统治人工智能?附深度学习十大顶级框架

2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面。新智元在 2015 年底发过一篇文章《深度学习会让机器学习工程师失业吗?》,引起很大的反响。的确,过去一年的时间里,深度学习正在改变越来越多的人工智能领域。Google DeepMind 工程师 Jack Rae 预测说,过去被视为对于中型到大型数据集来说最佳的预测算法的那些模型(比如说提升决策树(Boosted Decision Trees)和随机森林)将会变得无人问津。

深度学习,或者更宽泛地说——使用联结主义架构的机器学习算法,可能会让机器学习算法变成过去时,因为深度学习算法还远远不是饱和状态。在未来的几年里,很有可能会出现一些训练深度神经网络的方法,让它们能够显著提升性能。在优化方法、激活功能、联结结构以及初始化步骤之间,还有一些突破出现的空间。

这很可能让很多机器学习算法接近出局的边缘。

那么,2016 年是否能看作深度学习正式统治人工智能的一年?如果是这样,我们又能为此做好什么准备?新智元整理了业内人士关于 2016 年的深度学习技术展望,以及 2015 年深度学习最流行的 10 大框架。

深度学习十大技术展望

IIya Sutskever:OpenAI 的研究部负责人

我们期待看到更深度的模型(Deeper Models),相比今天的模型,它们可以从更少的数据中学习,尤其是在非监督学习方面,会有显著的进步。我们还可以期待,在语音识别和图像识别领域,我们能看到更加精准而且有用的结果。

Sven Behnke:波恩大学全职教授,智能系统小组主任

我期待深度学习技术,会在那些日益增多的多结构数据问题中得到应用。这会给深度学习带来新的应用领域,包括机器人,数据挖掘和知识发现。

Christian Szegedy:Google 高级工程师

现在的深度学习算法和神经网络,距离理论上可能的表现还很远。相比一年以前,我们现在的视觉神经网络模型,它的价格便宜了 5 到 10 倍,处理的参数少了 15 倍,但表现的还更好。这背后是更好的网络结构和更好的训练方法。我相信这仅仅是开始,深度学习算法会如此便宜,它能运行在便宜的手机设备中,而且不用更多的硬件设备支撑,也不需要额外的存储器。

Andrej Karpathy:斯坦福大学计算机科学博士,OpenAI 的研究工程师

我看到了一个趋势,结构会趋于更大,更复杂。我们会建造一个超大型的神经网络,能够交换神经网络组件,提前训练部分网络,增加新的模块,连带调整所有组件。例如,卷积神经网络曾经是最大的深度神经网络,但是今天它们被分离出来,作为新的大型神经网络一部分。相似的,现在的这些神经网络,也会是新一年更大型神经网络的一部分。我们在学习乐高玩具的拼法,学会如何把它们高效拼接在一起。

Pieter Abbeel:UC 伯克利大学助理教授,Gradescope 联合创始人

依赖于监督技术的深度学习垂直领域,需要用新的方法(NLP)超过现有的技术表现。我们会看到深度学习在非监督学习和增强学习方面的突出表现。

Eli David:Deep Instinct CTO

在过去两年,我们看到了深度学习在各个领域获得很大突破。但即便如此,5 年之内并不会达到人类水平的圣杯(但我认为,终其一生这会出现)。我们在各大领域看到极大的突破。特别的,我认为最具有希望的领域,来自于非监督学习,这个世界的大部分数据是没有标签的,而且我们大脑本身,也是非常好的非监督学习盒子。

当 Deep Instinct 成为第一个在安全领域使用深度学习的公司时,可以预计有更多的公司也会使用深度学习来部署。但是深度学习的门槛还是非常高,尤其对于互联网安全公司来说,他们其实并不使用人工智能工具(只有很少的解决方案使用了传统的机器学习技术)。所以深度学习要在安全领域得到大规模应用,还会经过很多年的时间。

Daniel McDuff:Affectiva 研究主管

在计算机视觉、语音分析以及其他领域,深度学习已成为机器学习中的支配形式。我希望使用 1 到 2 个 GPUs 就能部署的准确识别系统,能够让开发者们把新的软件部署到真实世界。我希望更多的焦点会放在非监督训练,或者半监督训练的算法上。

Jörg Bornschein:Google 学者,在加拿大前沿技术研究院(CIFAR)

预测未来总是很难的。当我们在大规模系统里考虑机器学习,在机器人控制的系统领域,或者在大规模系统里的大脑系统,非监督、半监督和强化学习会扮演愈发重要的角色。很明显的是,单纯的监督学习方法在理论上受到太多限制,很难解决实际问题。

Ian Goodfellow:Google 高级研究工程师

我预测在未来5年的时间里,我们的神经网络可以概括视频里发生了什么,而且有能力生成短视频。神经网络已经成为视觉任务的标准解决方案。我预测神经网络会成为 NLP 和机器人任务的标准解决方案。我还预测神经网络会在其他科学领域扮演重要工具,例如在基因行为预测,药物,蛋白质,新的医疗方案等。

Koray Kavukcuoglu & Alex Graves:Google DeepMind 研究工程师

很多事情会在未来 5 年发生。我们预测非监督学习和增强学习越发重要。我们也预测多方式学习(Multimodal Learning)的兴起,而且会超越个体数据集进行学习。

2015 深度学习十大顶级框架

1.Keras

Keras 是非常极简、高度模块化的神经网络库,用 Python 写成,而且能运行在 TensorFlow 和 Thenao 的顶层。它的设计初衷是实现更快的实验,让从想法到结果的时间尽可能少,这是做好研究的关键所在。

2.MXNet

轻量、便携、灵活性强的分布式/移动深度学习系统,并能对动态的、突变的数据流进行调度。MXNet 能支持 Python、R、Julia、Go、Javascript 等编程语言,是出于效率和灵活性设计的深度学习框架。它能够给深度学习程序增加一些小佐料,而且能最大化产品效率。

3.Chainer

深度学习的神经网络灵活框架。Chainer 支持各种网络架构,包括 Feed-forward Nets、Convnets、Recurrent Nets 和 Recursive Nets。它也支持 per-batch 的架构。Chainer 支持 CUDA 计算,它在驱动 GPU 时只需要几行代码。它也能通过一些努力,运行在多 GPUs 的架构中。

4.Sickit-Neuralnetwork

深度神经网络的实施,而且没有学习崖(Learning Cliff)。这个库能够执行多层感知器,自动编码器和递归神经网络,它运行在稳定的 Future Proof 交互界面,并能和对用户更加友好的 Scikit-Learn 以及 Python 交互界面兼容。

5.Theano-Lights

Theano-Lights 是基于 Theano 的研究架构,提供最近一些深度学习模型的实现,以及便于训练和测试功能。这些模型不是隐藏起来的,而是在研究和学习的过程中,有很大的透明性和灵活性。

6.Deeppy

基于 Theano 高度扩展性的深度学习框架。

7.Idlf

Intel 的深度学习框架。

Intel Deep Learning Framework(IDLF)是一个 SDK 库,为深度神经网络提供训练和执行。

它包括一些 API,能够把构建神经网络拓扑作为计算工作流程,进行函数图形优化并执行到硬件。我们最初的重点是驱动部署在 CPU(Xeon)和 GPU(Gen)上神经网络的物体识别(ImageNet 拓扑)。

这个 API 的设计,使我们未来能很容易支持更多的设备。我们的关键原则是在每个 Intel 支持的平台上实现最大性能。

8.Reinforcejs

Reinforcejs 是一个增强学习库,能够执行常见的增强学习算法,而且可以做 Web 端的 Demos。这个库现在包括:

动态规划方法(Dynamic Programming Methods)

时间差分学习(Temporal Difference Learning)(SARSA/Q-Learning)

Deep Q-Learning

Stochastic/Deterministic Policy Gradients 和 Actor Critic 架构

9.OpenDeep

OpenDeep 是服务于 Python 的一个深度学习框架,建立在 Theano 的基础上,专注在灵活性和易用性,为行业的数据科学家和前沿研究者服务。OpenDeep 是一个模块化、易扩展的架构,能够用来构建几乎所有的神经网络框架,以解决你的问题。

10.MXNetJS

MXNetJS 是一个 DMLC/MXnet 的 Javasript 包。MXNetJS 能给浏览器带来最新水平的深度学习预测 API。它通过 Emscripten 和 Amalgamation 运行。MXNetJS 允许你在各种计算图像中,运行最新水平的深度学习预测,并给客户端带来深度学习的乐趣。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-01-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

数据少,就享受不到深度学习的红利了么?总是有办法的!

【导读】深度学习,有太多令人惊叹的能力!从12年的图像识别开始,深度学习的一个个突破,让人们一次又一次的刷新对它的认知。然而,应用深度学习,一直有一个巨大的前提...

1104
来自专栏AI科技大本营的专栏

AI 技术讲座精选:迁移学习——让机器学习投资回报率加倍

Google 曾训练出一台智能计算机,打败了围棋世界冠军李世石。 这对今天的商业有什么样的指导意义呢? ? 目前,研究人员正在借助机器学习(ML)来挖掘计算机...

2734
来自专栏企鹅号快讯

深度学习的教学和课程,与传统 CS 的教学和课程有什么区别?

深度学习的课程和传统计算机课程有很大的不同,也可以说 “独树一帜”,其独特性主要来自于: 1. 前置课程多 2. 缺乏完整的理论体系 3. 繁多的调参技巧 4....

1977
来自专栏AI科技评论

独家 | ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究,如深度学...

3359
来自专栏数据科学与人工智能

【深度学习】深度学习趋势与框架

2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面。新智元在 2015 年底发过一篇文章《深度学习会让机器学习工程师失业吗?》,引起...

2785
来自专栏机器人网

最受欢迎开源深度学习框架榜单:这个排名让人想起~~

Keras作者Fran?ois Chollet刚刚在Twitter贴出一张图片,是近三个月来arXiv上提到的深度学习开源框架排行: ? TensorFlow排...

5717
来自专栏计算机视觉战队

视觉的深度学习与网络的构建,训练及测试

已经很久没有更新平台的内容,今天抽空来给大家分享一些关于计算机视觉领域的一个重点,那就是“深度学习”,接下来就来详细聊聊深度学习(为什么要深度学习特征???)...

3388
来自专栏ATYUN订阅号

2018 CVPR正式开幕,斯坦福大学和加州大学伯克利分校赢得最佳论文奖

2018年计算机视觉和模式识别会议(CVPR)在美国盐湖城开幕。CVPR组委会宣布了最佳论文和最佳学生论文。

874
来自专栏新智元

【让高中生掌握深度学习】掀起DL炼金术之争的Ali,这次要像教物理那样教深度学习

来源:argmin.net 作者:Ali Rahimi 【新智元导读】在NIPS 2017与LeCun论战,说深度学习是炼金术的Ali Rahimi,近日发表文...

33710
来自专栏CSDN技术头条

2017年深度学习十大趋势预测

本文作者曾经多次预测了技术发展的趋势,最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中,准确地命中了6项,比如JavaScript VM、NoS...

1888

扫码关注云+社区