展开

关键词

gluon:深度卷积和AlexNet

在前面的章节中,我们学会了如何使用卷积进行图像分类。其中我们使用了两个卷积层与池化层交替,加入一个全连接隐层,和一个归一化指数Softmax输出层。 这个结构与LeNet,一个以卷积先驱Yann LeCun命名的早期很相似。LeCun也是将卷积付诸应用的第一人,通过反向传播来进行训练,这是一个当时相当新颖的想法。 LeCun在当时展现了,在识别手写数字的任务上通过梯度下降训练卷积可以达到最先进的结果。这个奠基性的工作第一次将卷积推上舞台,为世人所知。 然而,这之后几年里,被许多其他方法超越。训练慢,并且就深度从一个随机生成的权重起点开始训练是否可行,学界没有广泛达成一致。 所以虽然LeNet可以在MNIST上得到好的成绩,在更大的真实世界的数据集上,还是在这个冬天里渐渐失宠。取而代之,研究者们通过勤劳,智慧和黑魔法生成了许多手工特征。通常的模式是 1.

31690

【抗击谷歌】亚马逊微软发布深度学习库,让训练像开发APP一样简单

使用Gluon接口,开发人员可以使用简单的Python API和一系列预构建、优化的组件来构建机器学习模型。这使得开发者更容易使用简单、简洁的代码构建,而不需要牺牲性能。 下图展示了这个的结构:?要了解更多信息,请到对应教程学习如何构建一个多层感知器(MLP)的简单,并使用Gluon构建块。 对于更高级的用例,从头开始编写的一些部分也是很容易的。Gluon允许在你的中混合和匹配预定义和自定义组件。 动态图在某些情况下,模型可能需要在训练过程改变形状和大小。特别是当输入到的数据输入是可变的时,这是必需的。 高性能有了Gluon提供的灵活性,你就可以很容易地设计原型并尝试使用模型。

47080
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年38元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    微软联手亚马逊发布Gluon,可使用Python API优化模型

    有了Gluon助力,开发人员能用简单的Python API建立机器学习模型和一系列预构建、优化的组件。 值得一提的是,Gluon适用于所有水平的开发人员用简洁的代码构建,并且基本不会影响性能。简洁可理解 的构建有三要素:训练数据、模型和算法。 惊喜的是,Gluon兼具这两种类型工具的优点。这是一种简洁的、可理解的编程接口,能用对底层引擎速度影响最小的方式帮助开发人员快速构建原型和实验。 开发人员可用Gluon实时创建,并动态改变它们的大小和形状。此外,由于Gluon将训练算法和模型结合在一起,开发人员可以逐步执行模型训练。 目前,构建和训练机器学习模型仍需大量的专业技能,”亚马逊AI副总裁Swami Sivasubramanian说,“Gluon让构建和训练模型像构建应用程序一样简单。”

    58160

    CVPR 2017李沐介绍MXNet新接口Gluon:高效支持命令式与符号式编程

    机器之心也将对使用 Gluon 构建卷积和实现并行计算的过程与优势这两部分内容进行展开。更详细的内容请查看李沐博士的 Github。 如下所示,MXNet 在实现残差和 Adam 优化算法时所采用的代码。我们可以看到 MXNet 在定义残差时使用的是符号式的执行,我们需要像调用函数那样确定每一个参数而完整地定义一个。 下面,我们分别从Gluon中的卷积和并行计算详细介绍Gluon的使用过程和特点,希望能和大家共同体会Gluon的命令式开发和符号式部署的高效性。 Gluon 中的卷积现在我们看一下如何使用 gluon 来简洁的表示一个卷积。 可以看到,为这个两层编写并行程序是比较麻烦的,更何况对于一个动辄几百层的来说呢??如下图所示,应用 MXNet 的相应方式编写串行程序,就可以实现并行化的运行,这是十分便捷的。?

    50250

    微软携手亚马逊推出全新Gluon深度学习库,全面支持符号式和命令式编程

    Gluon具体介绍Gluon用于构建,很简洁,是一个动态的高级深度学习库(接口),在使用MXNet和CNTK时都可以调用它,微软Azure的所有服务、工具和基础结构也将全面支持GluonGluon为开发者提供的接口非常好用,它支持高度可扩展的训练,能高效的评估模型。对于验老道的研究人员来说,在发挥Gluon的优势时完全不会牺牲灵活性。 Gluon的主要特征和好处Gluon能让开发者更简单的学习、规定和调试深度,也可以让接下来的迭代和保持更加简单,也支持开发作者快速构建和训练,主要的亮点如下:符号式和命令式编程对于高级用户 支持稀疏数据Gluon提供对稀疏和量化数据及操作的全面支持,可以用于计算和通信。稀疏性在NLP领域的深度中非常常见,而量化对于运行时性能评估至关重要。 目前在MXNet上已可以使用Gluon接口了,可以在GitHub上查看详情,地址为:https:github.comgluon-apigluon-api 微软也表示他们即将推出支持CNTK的版本,雷锋

    36560

    mxnet-Gluon(一):mxnet-Gluon 入门

    uninstall mxnetpip install --pre mxnet-cu75 # CUDA 7.5pip install --pre mxnet-cu80 # CUDA 8.0数据放在哪在中 backward() # 这里需要注意的是,如果 res2 不是标量的话,默认的操作是会对 res2 做一个 sum,然后在 backward print(w1.grad)print(b1.grad) ] 到这里 ,终于可以看到 Gluon 的身影了,Gluon给我们提供了一些简洁的 高级 API,我们可以使用这个 API 快速的搭建想要的结构。 Gluon 组件一一展现了出来,包括:gluon.nn.Block 容器一样的概念,用来构建gluon.loss 各种 loss 的聚集地gluon.nn 有很多 层的 实现gluon.rnn 里面有循环的一些 Cellgluon.Trainer 用来辅助更新模型参数的一个辅助类mxnet.optimizer 里面有很多优化器mxnet.nd 对于 NDArray 的 op 级别操作在这里如何使用

    71560

    目前最新的十大最佳深度学习框架

    初学者需要仔细考虑的架构,正确评估输入和输出数据的维度和数量。TF运用静态计算图进行操作 。 也就是说咱们需要先界说图形,然后运转计算,如果咱们需要对架构进行更改,咱们会从头训练模型。 挑选这样的办法是为了提高功率,但是许多现代工具可以在学习过程中考虑改进而不会显着下降学习速度。 在这方面,TensorFlow的首要竞争对手是PyTorch 。 PyTorch长处:练习的进程简单明了。 同时,PyTorch支持数据并行和分布式学习模型,而且还包含许多预先练习的模型。PyTorch更适合小型项目和原型规划。 Sonnet? 面向目标的库,在开发(NN)或其他机器学习(ML)算法时更加抽象。Sonnet的主意是结构对应于的特定部分的主要Python目标。 虽然更简单创立模型,但是面临杂乱的结构时或许不如TensorFlow。MXNet?

    49820

    资源 | 李沐等人开源中文书《动手学深度学习》预览版上线

    、反向传播和计算图数值稳定性和模型初始化实战 Kaggle 比赛:房价预测深度学习计算模型构造模型参数的访问、初始化和共享模型参数的延后初始化自定义层读取和存储GPU 计算卷积二维卷积层填充和步幅多输入通道和多输出通道池化层卷积 (LeNet)深度卷积(AlexNet)使用重复元素的(VGG)中的(NiN)含并行连结的(GoogLeNet)批量归一化残差(ResNet)稠密连接(DenseNet) 循环语言模型循环语言模型数据集(周杰伦专辑歌词)循环的从零开始实现循环Gluon 实现通过时间反向传播门控循环单元(GRU)长短期记忆(LSTM)深度循环双向循环优化算法优化与深度学习梯度下降和随机梯度下降小批量随机梯度下降动量法 (皮卡丘)单发多框检测(SSD)区域卷积(R-CNN)系列语义分割和数据集全卷积(FCN)样式迁移实战 Kaggle 比赛:图像分类(CIFAR-10)实战 Kaggle 比赛:狗的品种识别 :使用卷积(textCNN)编码器—解码器(seq2seq)束搜索注意力机制机器翻译附录主要符号一览数学基础使用 Jupyter 笔记本使用 AWS 运行代码GPU 购买指南如何为本书贡献gluonbook

    23130

    资源 | DMLC团队发布GluonCV和GluonNLP:两种简单易用的DL工具箱

    此外,Gluon 最大的特点就是文档和教程齐全,李沐及 MXNet 团队还发布了一系列「动手学深度学习」的公开课。 GluonCV 和 GluonNLP 继承了 Gluon 的优良传统,它们都能使用简单易用的 API 构建复杂的深度。此外,这两个项目目前都处于开发的早期阶段,它们的更新频率会比较高。 以下的案例将使用 20 层的残差在 CIFAR10 上从头开始训练,我们这里只展示了模型架构和最优化方法。 nn from gluoncv.model_zoo import get_model选择模型架构可以简单地从已有模型中导入,以下将从 GluonCV 的模型库中导入用于 CIFAR10 的 20 层残差 nlp.Vocab(counter=nlp.data.Counter(train))>>> vocabVocab(size=33280, unk=, reserved=)创建词表后,我们就能继续构建模型

    54580

    2017 深度学习框架发展大盘点——迎来 PyTorch,告别 Theano

    PyTorch 实际上是 NumPy 的替代,它支持 GPU,有着更高级的功能,可以用来构建和训练深度。一发布,它便受到广泛关注和讨论。 不需要从头重新构建整个,它为改进现有的提供了更快速的方法——采用动态计算图(dynamic computational graph)结构,而不是大多数开源框架,比如 TensorFlow、Caffe 这使得开发者的深度学习模型能够有「最大限度的内存效能」,训练比从前更大的深度。 Keras 是一个崇尚极简、高度模块化的库,于 2015 年 3 月发布。2017 年 3 月,keras 迎来全新版本——Keras 2。 据悉,Gluon 能让开发者更简单的学习、规定和调试深度,也可以让接下来的迭代和保持更加简单,也支持开发作者快速构建和训练

    55060

    MXNet 作者李沐:用深度学习做图像分类,教程+代码

    来自亚马逊主任科学家李沐将以计算机视觉的典问题——图像分类为例,手把手地教导大家从0到1搭建深度模型。 MXNet是一个易安装易上手的开源深度学习工具,它提供了一个python接口gluon,能够让大家很快地搭建起,并进行高效训练。 接下来,我们将以比赛中的裙子任务为例,向大家展示如何用gluon从零开始,设计一个简单而又效果好的卷积算法。环境配置 系统配置对于深度学习训练而言,用GPU加速训练是很重要的。 因为两个在输出层的分类个数与含义都不一样,我们需要将输出层重新定义并随机初始化。在ImageNet数据集上,大家主要用卷积,而在过去的几年中也出现了很多不同的架构。 gluon官方提供了许多不同的预训练好的卷积模型,我们在这个比赛中选择效果比较好的resnet50_v2模型作为训练的出发点。

    61260

    AI大事件 | 李飞飞接受访谈, TensorFlow: 发布 1.4.0,深度强化学习Bootcamp-视频讲座&实验

    给黑白照片上色来源:BLOG.FLOYDHUB.COM 链接:https:blog.floydhub.comcolorizing-b&w-photos-with-neural-networks utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI这是一个详细的教程,能够教会你建立一个 ,可以使用给黑白照片上色。 PyTorch实现准递归来源:GITHUB.COM 链接:https:github.comsalesforcepytorch-qrnn? Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI这个库包含了一个基于PyTorch实施准递归的研究

    25430

    -BP

    感知器作为初代,具有简单、计算量小等优点,但只能解决线性问题。 BP在感知器的基础上,增加了隐藏层,通过任意复杂的模式分类能力和优良的多维函数映射能力,解决了异或等感知器不能解决的问题,并且BP也是CNN等复杂等思想根源。 1 基本概念BP是一种通过误差反向传播算法进行误差校正的多层前馈,其最核心的特点就是:信号是前向传播,而误差是反向传播。 2 BP结构BP包含输入层、隐藏层和输出层,其中,隐藏层可有多个,其中,输入层和输出层的节点个数是固定的(分别是输入样本的变量个数和输出标签个数),但隐藏层的节点个数不固定。 以具有单隐藏层的BP为例,其结构如下图:?3 BP原理公式以单隐藏层的BP为例,各阶段原理公式如下: 前向传播。

    36620

    1.试水:可定制的数据预处理与如此简单的数据增强(下)

    上一部分我们讲了MXNet中NDArray模块实际上有很多可以继续玩的地方,不限于卷积,包括循环RNN、线性上采样、池化操作等,都可以直接用NDArray调用,进行计算。 在大概很久之前,我一直认为写个数据预处理或者数据增强需要单独写一个模块,比如我要做图像翻转,我肯定会把所有图片读取后,按照numpy方式进行操作,然后存起来,看到文件夹中的图片数量扩充成原来的三四倍,心意满满的写模型 MXNet主要数据加载形式分为两种,一种是典加载方式,在gluon没有出来之前大家用的非常普遍的方式;另一种就是专为Gluon设计的加载方式。 在新端口Gluon中提供了更为简便的数据接口(不得不说,这个接口的形式和Pytorch太像了。。) 现在在深度卷积训练中,图片增强是必不可少的一部分。这里我们直接使用使用李沐大佬的教程例子作为讲解。

    87830

    2018年大数据趋势

    这个新平台名为Gluon,可供各种技能水平的人工智能开发人员使用。据称,Gluon平台可以让人工智能开发人员更容易设计和开发人工。 联设备可以提醒患者服药、锻炼和注意血压的剧烈变化。改变安全挑战新的安全挑战将在2018年成为一个棘手的问题。可以预见,心怀叵测的黑客将想方设法入侵物联。 2016年10月,黑客利用物联发动攻击,使大面积瘫痪。随着物联继续扩张,全球基础设施的薄弱环节也将继续增多。人工智能和机器学习提供了解决之道,它们将变得越来越普及。 这个新平台名为Gluon,可供各种技能水平的人工智能开发人员使用。据称,Gluon平台可以让人工智能开发人员更容易设计和开发人工Gluon平台将落户亚马逊AWS服务。 Gluon界面是“开源且易于使用的”。人工智能和安全《哈佛商业评论》写道:“讽刺的是,面对利用人工智能进行的黑客攻击,我们的最佳防御策略也是利用人工智能。

    17720

    《动手学深度学习》Pytorch版开源!

    如果我们抽取使用循环构建语言模型的分布代码,就能看看原版 Gluon 和新版 PyTorch 之间的区别。 卷积5.1 二维卷积层5.2 填充和步幅5.3 多输入通道和多输出通道5.4 池化层5.5 卷积(LeNet)5.6 深度卷积(AlexNet)5.7 使用重复元素的(VGG 循环6.1 语言模型6.2 循环6.3 语言模型数据集(周杰伦专辑歌词)6.4 循环的从零开始实现6.5 循环的简洁实现6.6 通过时间反向传播6.7 门控循环单元(GRU )6.8 长短期记忆(LSTM)6.9 深度循环6.10 双向循环7. 10.8 文本情感分类:使用卷积(textCNN)10.9 编码器—解码器(seq2seq)10.10 束搜索10.11 注意力机制10.12 机器翻译

    64130

    【2017深度学习框架大事记】PyTorch成TensorFlow最大竞争对手,微软、亚马逊、Facebook 合作联盟对抗谷歌

    但是竞争并没有停止——2017年10月,微软和亚马逊的AWS联合宣布推出Gluon API。Gluon是一个封装了MXNet的高级Python深度学习接口,未来它还将支持微软的CNTK。 Gluon是Keras的直接竞争对手,尽管AWS声称他们强烈支持所有深度学习框架,但显然,他们会打着AI民主化的口号押注于Gluon。? 用Gluon堆叠卷积层和密集层以及参数初始化令人惊讶的是,如今TensorFlow的最大竞争对手似乎是PyTorch。 坦白说,即使是验丰富的研究人员和开发人员,也很难跟上深度学习框架最新的发展。对此,一个好消息是开放交换(ONNX)格式的发布。 开放交换(ONNX)的Github页面ONNX由微软、亚马逊和Facebook等公司共同发起,宣布支持ONNX的公司还有AMD、ARM、华为、 IBM、英特尔、Qualcomm等。

    57060

    Bi-Weekly | Amazon和Microsoft推出新的Gluon;Google的学习算法正创建另一种学习算法

    上周四,两家公司共同推出新的「Gluon」。开发人员可以使用基于 Python 的应用程序编程接口 Gluon 来轻松使用 MXNet(Amazon Web 服务所提供的 AI 框架)。 Intel 发布设备安全板载 IntelSDO英特尔在近半个月发布了几项声明:量子计算方面的最新突破;与阿里巴巴在云服务上展开深度合作;加入 ONNX(开放交换)为 AI 开发人员提供更有效的框架相互转换性 目前,IntelSDO 已向大部分 IOT 平台提供商、云服务平台提供商和芯片制造商提供全面服务。 Google 的学习算法正在创建另一种学习算法,有可能会导致新一轮的安全问题Google 开始训练机器学习算法,以便在没有人干预的情况下生成自己的机器学习算法;这个项目叫「AutoML」。 未来,互联场景的很大一部分将在途中发挥作用,而不仅仅是单一固定的生活或工作场景,操作系统将成为站或内容的终端。

    447120

    来源:UFLDL教程本文为综合系列的第一篇,通过学习,你也将实现多个功能学习深度学习算法,能看到它们为你工作,并学习如何应用适应这些想法到新问题上。 目录关键词概述模型1. 为了描述,我们先从最简单的讲起,这个仅由一个“元”构成,以下即是这个“元”的图示:? 模型所谓就是将许多个单一“元”联结在一起,这样,一个“元”的输出就可以是另一个“元”的输入。例如,下图就是一个简单的:? 我们使用圆圈来表示的输入,标上“+1 ”的圆圈被称为偏置节点,也就是截距项。最左边的一层叫做输入层,最右的一层叫做输出层(本例中,输出层只有一个节点)。

    57870

    例程下载:.zip 介绍如今,科学家正在努力探索人脑的奥秘,他们试图通过模仿人脑,来找到大数据的解决方案。我感觉现在没有深入浅出的、实用的介绍(NN)的文章。 ——前向3. 什么是的权重?4. 生物体内的元权重是多少?5. 中激励函数起什么作用?6. 生物体内什么东西起到了元激励函数的功能?7. 反向传播如何工作?8. 反向传播的确切的数学逻辑是什么?9. 如何实现反向传播? 1.人脑是如何工作的?要理解如何工作,最好先研究一下人脑的运作机理。人脑有约一千亿个元,彼此之间紧密相连。 这里的权重也是一个类似“a”的因素,我们努力找出它的精确值,以求更准确的分类。 4. 生物体内的元权重是多少?所有的结构都是从人脑中得到灵感启发的。 fp_bp.jpgneural_network.jpg 9.如何实现反向传播?执行文件:基于上述知识,我要在Matlab中实现

    1.5K121

    扫码关注云+社区

    领取腾讯云代金券