展开

关键词

capsule

相关内容

  • Capsule:开源的JVM应用部署工具

    如果你在写JVM程序,给Capsule一个机会。Capsule Magic with Caplets通过Caplets实现的Capsule魔法Capsule之所以能保持简单还能提供这些功能主要归功于caplets,以模块化定制Capsule行为。Caplets可以嵌入到1个capsule,或者单独进行包装并使用命令行包装和修改现有capsule行为。capsule-maven-1.0.jar如你所见, WAR包含Capsule 类,这意味着它是一个capsule,也是嵌入式JAR,而 capsule-maven-1.0.jar是Maven caplet608 META-INFMANIFEST.MF 161596 Capsule.class1467463 capsule-maven-1.0.jar 266 app.js当capsule发布,Avatar
    来自:
    浏览:375
  • 浅析 Hinton 最近提出的 Capsule 计划

    修复了一些笔误,加入了更多关于无监督学习的介绍内容,使思路更完整;以及一两句关于 Capsule 实际效果的消息。这有可能也是知乎上面分析介绍深度学习最为全面的文章之一。为主题做了多场报道 ,提出了他的 Capsule 计划。Hinton似乎毫不掩饰要推翻自己盼了30多年时间才建立起来的深度学习帝国的想法 。但是从几次演讲来看,他的 Capsule 计划确实和以前的方法出入比较大。Hinton 演讲比较风趣,但是也存在思维跳跃,难度跨度太大等问题。这些问题在他的关于 Capsule 的报告中还是比较突出的。可以说仅仅看报告很难理解完全 Hinton 的想法。我这几天结合各类资料,整理了一下 Hinton 的思路和动机,和大家分享一下。
    来自:
    浏览:173
  • 胶囊网络(Capsule Network)在文本分类的探索

    然后到目前为止,并没用工作将capsule network应用于自然语言处理中(e.g.,文本分类) 。我们针对capsule network在文本分类任务上的应用做了深入研究。对于传统的分类问题,capsule network取得了较好性能(我们在6个benchmarks上进行了实验,capsulenetwork在其中4个中取得了最好结果)。从表中我们可以看出,当我们用单标签数据对模型进行训练,并在多标签数据上进行测试时,capsule network的性能远远高于LSTM、CNN等。??具体来说,我们删除卷积胶囊层,将primary capsule layer直接链接到fully-connectedcapsule layer,其中primary capsule 代表了N-gram短语在capsule里的形式,capsule之间的连接强度代表了每个primary capsule在本文类别中的重要性(比较类似并行注意力机制)。
    来自:
    浏览:1243
  • 广告
    关闭

    腾讯云+社区「校园大使」招募开启!报名拿offer啦~

    我们等你来!

  • 终于,Geoffrey Hinton那篇备受关注的Capsule论文公开了

    同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时,更高级别的 capsule 变得活跃。Capsule 如何计算输入和输出向量现在有很多可能的方式能实现 Capsule 的一般性概念。其中 v_j 为 Capsule j 的输出向量,s_j 为总输入向量。对于 Capsule 除了第一层的所有层级,Capsule s_j 的总输入为下面 Capsule 层级中所有「预测向量」?在卷积 Capsule 层中,每一个 Capsule 单元都是一个卷积单元,因此每一个 Capsule 将输出一个向量组而不是单个输出向量。?4.最后的层(DigitCaps)的每个数字类别都有一个 16D capsule,每个 capsule 接收来自下面一层所有 capsule 的输入。
    来自:
    浏览:335
  • 终于,Geoffrey Hinton那篇备受关注的Capsule论文公开了

    同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时,更高级别的 capsule 变得活跃。Capsule 如何计算输入和输出向量现在有很多可能的方式能实现 Capsule 的一般性概念。其中 v_j 为 Capsule j 的输出向量,s_j 为总输入向量。对于 Capsule 除了第一层的所有层级,Capsule s_j 的总输入为下面 Capsule 层级中所有「预测向量」?在卷积 Capsule 层中,每一个 Capsule 单元都是一个卷积单元,因此每一个 Capsule 将输出一个向量组而不是单个输出向量。?4.最后的层(DigitCaps)的每个数字类别都有一个 16D capsule,每个 capsule 接收来自下面一层所有 capsule 的输入。
    来自:
    浏览:159
  • 终于,Geoffrey Hinton那篇备受关注的Capsule论文公开了

    同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时,更高级别的 capsule 变得活跃。Capsule 如何计算输入和输出向量现在有很多可能的方式能实现 Capsule 的一般性概念。其中 v_j 为 Capsule j 的输出向量,s_j 为总输入向量。对于 Capsule 除了第一层的所有层级,Capsule s_j 的总输入为下面 Capsule 层级中所有「预测向量」?在卷积 Capsule 层中,每一个 Capsule 单元都是一个卷积单元,因此每一个 Capsule 将输出一个向量组而不是单个输出向量。?4.最后的层(DigitCaps)的每个数字类别都有一个 16D capsule,每个 capsule 接收来自下面一层所有 capsule 的输入。
    来自:
    浏览:540
  • 【前沿】Geoffery Hinton 的 NIPS2017 Capsule论文简读

    10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。Hinton 之前就一直介绍Capsule的理念,之前专知也有文章介绍。【深度】浅析Geoffrey Hinton最近提出的Capsule计划 今天我们简读下这篇重量级论文讲了些什么?同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测相同时,更高级别的 capsule 变得活跃。我们展示了判别式训练的多层 capsule 系统在 MNIST 数据集上达到了最好的性能效果,比识别高度重叠数字的卷积网络的性能优越很多。为了达到这些结果,我们使用迭代的路由协议机制:较低级别的 capsule 偏向于将输出发送至高级别的 capsule,有了来自低级别 capsule 的预测,高级别 capsule 的活动向量具备较大的标量积
    来自:
    浏览:346
  • Capsule官方代码开源之后,机器之心做了份核心代码解读

    其中 v_j 为 Capsule j 的输出向量,s_j 为上一层所有 Capsule 输出到当前层 Capsule j 的向量加权和,简单说 s_j 是 Capsule j 的输入向量。Capsule i 和后一层级所有 Capsule 间的耦合系数和为 1。如下所示定义了构建 Capsule 层级的主体函数:def _build_capsule(self, input_tensor, num_classes): capsule1 = layers.conv_slim_capsule_hparams.leaky,) capsule1_atom_last = tf.transpose(capsule1, ) capsule1_3d = tf.reshape(capsule1_atom_last而为了连接卷积 Capsule 层和顶部的全连接 Capsule 层,卷积 Capsule 层的网格位置将与不同类型的 Capsule 维度相合并,并且 Capsule 将为嵌入向量学习不同的变换。
    来自:
    浏览:588
  • Reddit 讨论:Hinton的Capsule网络真的比CNN效果更好吗?

    【新智元导读】Hinton 提出用 Capsule 这个概念代替反向传播,引起广泛关注。本文来自Reddit上“Capsule networks为何与众不同,它真的比CNN效果更好吗?”的讨论,作者分析了capsule network与CNN不同的三个方面。首先,capsule 的概念与卷积的概念大部分是独立的。例如,你可以有一个完全连接的capsule网络。因为capsule网络与传统的神经网络相比是如此的不同,以至于很难理解它们之间的差异。在这里我将详细介绍capsule网络的细节,然后总结一下不同之处。简单描述capsule网络首先,我们可以看看capsule的动机(从Hinton的谈话中摘出来的)。CNN的过滤器所做的就是检测源图像中是否存在特定的模式特性。3)capsule之间的routing这就是capsule网络如此与众不同的原因。与普通的层相比,capsule层是完全不同的。首先,我们转换输入向量来得到预测向量。
    来自:
    浏览:542
  • Github 项目推荐 | 用 Pytorch 实现的 Capsule Network

    本库用 Pytorch 实现的 Capsule Network 基于以下论文:Dynamic Routing Between Capsules by Sara Sabour, Nicholas Frosstand Geoffrey Hintonhttps:arxiv.orgabs1710.09829官方用 TensorFlow 实现的 Capsule Network 的论文地址如下:https:arxiv.orgabs1710.09829
    来自:
    浏览:627
  • 大神Hinton的Capsule论文终于公开,神经网络迎来新探索

    实际上最近几年来,Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播,几乎是出于同一个原因:不像大脑。Hinton提出,应该在现有神经网络结构的基础上,加一个capsule的层级,每一层网络的神经元组成capsule,在内部做计算,然后输出一个压缩的结果。到底什么是capsule?今年,关心capsule的网友也不少,甚至直接点名Hinton来问:capsule怎么样了?活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时,较高层的capsule就开始活动。为了达到这样的结果,我们用了一个迭代的路由协议机制:一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。Capsule是什么?
    来自:
    浏览:187
  • 大神Hinton的Capsule论文终于公开,神经网络迎来新探索

    实际上最近几年来,Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播,几乎是出于同一个原因:不像大脑。Hinton提出,应该在现有神经网络结构的基础上,加一个capsule的层级,每一层网络的神经元组成capsule,在内部做计算,然后输出一个压缩的结果。到底什么是capsule?今年,关心capsule的网友也不少,甚至直接点名Hinton来问:capsule怎么样了?活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时,较高层的capsule就开始活动。为了达到这样的结果,我们用了一个迭代的路由协议机制:一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。Capsule是什么?
    来自:
    浏览:469
  • 浅析Geoffrey Hinton最近提出的Capsule计划

    神经解剖学与 Capsule 的由来不过 Hinton 看上去是不会对目前这种结果满意的。他在 2011 年的时候,就第一次提出了 Capsule 结构 (我们会在后面解释 Capsule 是什么)。于是 Hinton 也提出了一个对应的结构,称为 capsule(胶囊,和微柱对应)。这就是 capsule 的由来。但是 capsule 做了什么?之前的 CNN 又有什么问题?通过这可以看到 Hinton 使用 Capsule 的一个原因是觉得 Capsule 相比单个神经元更适合用来做表示。Capsule 与 coincidence filtering(巧合筛分)那么高层的 Capsule 怎么从底层的 Capsule 获取信息呢?首先 Capsule 的输出是什么?然后通过对底层的 Capsule 做 coincidence filtering(巧合筛分)决定激活哪些高层的 Capsule。
    来自:
    浏览:479
  • 浅析Geoffrey Hinton最近提出的Capsule计划

    神经解剖学与 Capsule 的由来不过 Hinton 看上去是不会对目前这种结果满意的。他在 2011 年的时候,就第一次提出了 Capsule 结构 (我们会在后面解释 Capsule 是什么)。于是 Hinton 也提出了一个对应的结构,称为 capsule(胶囊,和微柱对应)。这就是 capsule 的由来。但是 capsule 做了什么?之前的 CNN 又有什么问题?通过这可以看到 Hinton 使用 Capsule 的一个原因是觉得 Capsule 相比单个神经元更适合用来做表示。Capsule 与 coincidence filtering(巧合筛分)那么高层的 Capsule 怎么从底层的 Capsule 获取信息呢?首先 Capsule 的输出是什么?然后通过对底层的 Capsule 做 coincidence filtering(巧合筛分)决定激活哪些高层的 Capsule。
    来自:
    浏览:641
  • 【深度】浅析Geoffrey Hinton最近提出的Capsule计划

    神经解剖学与 Capsule 的由来不过 Hinton 看上去是不会对目前这种结果满意的。他在 2011 年的时候,就第一次提出了 Capsule 结构 (我们会在后面解释 Capsule 是什么)。于是 Hinton 也提出了一个对应的结构,称为 capsule(胶囊,和微柱对应)。这就是 capsule 的由来。但是 capsule 做了什么?之前的 CNN 又有什么问题?通过这可以看到 Hinton 使用 Capsule 的一个原因是觉得 Capsule 相比单个神经元更适合用来做表示。Capsule 与 coincidence filtering(巧合筛分)那么高层的 Capsule 怎么从底层的 Capsule 获取信息呢?首先 Capsule 的输出是什么?然后通过对底层的 Capsule 做 coincidence filtering(巧合筛分)决定激活哪些高层的 Capsule。
    来自:
    浏览:397
  • 利用Capsule重构过程,Hinton等人实现对抗样本的自动检测

    ,利用重构过程,capsule 模型可以把这张图像还原成?,并且还知道这张被识别成?、还原成?的图像并不是?。特征重建输入图像的网络,可以提升 capsule 网络的判别性能。通过重建网络进行反向传播的导数迫使顶层 capsule 的姿态参数去捕获大量图像信息。利用此类正则化器训练的 capsule 网络不仅能输出类别,还能输出输入的类别条件重建图像。capsule 模型不仅能够对图像进行分类,还可以利用姿态参数(pose parameters)和正确的顶层 capsule 特征来重建图像。图 A.1:用于重建的 CNN+R 和 Capsule 模型的架构。所以这篇论文的意义到底是什么呢?
    来自:
    浏览:274
  • 学界 | 一篇新的Capsule论文:优于基准CNN(ICLR 2018盲审中)

    所有其它层都是 capsule 层,是从主 capsule 层开始的。每一个 capsule 都有一个 4×4 的姿态矩阵和一个 logistic 激活单元。主 capsule 之后跟着两个 3×3 卷积 capsule 层(K=3),其中每一层都带有 32 种 capsule 类型(C=D=32),步幅分别为 2 和 1。卷积 capsule 的最后一层连接到最后的 capsule 层,该层的每一个输出类别都有一个 capsule。?图 1:带有一个 ReLU 卷积层,后面跟着一个主卷积 capsule 层和两个其它卷积 capsule 层。对于卷积 capsule,在 L+1 层中的每个 capsule 都会只向 L 层中的感受野中的 capsule 发送反馈。
    来自:
    浏览:459
  • 【前沿】TensorFlow Pytorch Keras代码实现深度学习大神Hinton NIPS2017 Capsule论文

    【导读】10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。论文地址:https:arxiv.orgpdf1710.09829.pdf摘要:Capsule 是一组神经元,其活动向量(activity vector)表示特定实体类型的实例化参数,如对象或对象部分。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测相同时,更高级别的 capsule 变得活跃。我们展示了判别式训练的多层 capsule 系统在 MNIST 数据集上达到了最好的性能效果,比识别高度重叠数字的卷积网络的性能优越很多。为了达到这些结果,我们使用迭代的路由协议机制:较低级别的 capsule 偏向于将输出发送至高级别的 capsule,有了来自低级别 capsule 的预测,高级别 capsule 的活动向量具备较大的标量积
    来自:
    浏览:552
  • 【前沿】TensorFlow Pytorch Keras代码实现深度学习大神Hinton NIPS2017 Capsule论文

    【新智元导读】10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。论文地址:https:arxiv.orgpdf1710.09829.pdf摘要:Capsule 是一组神经元,其活动向量(activity vector)表示特定实体类型的实例化参数,如对象或对象部分。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测相同时,更高级别的 capsule 变得活跃。我们展示了判别式训练的多层 capsule 系统在 MNIST 数据集上达到了最好的性能效果,比识别高度重叠数字的卷积网络的性能优越很多。为了达到这些结果,我们使用迭代的路由协议机制:较低级别的 capsule 偏向于将输出发送至高级别的 capsule,有了来自低级别 capsule 的预测,高级别 capsule 的活动向量具备较大的标量积
    来自:
    浏览:551
  • 深入了解Hinton的Capsule神经网络,第二部分:如何运作

    低层次的的Capsule将把它的输入发送到与它的输入“一致”的更高层次的Capsule。它将通过调整权重C来决定这个Capsule的输出,然后再把它送到左侧或右侧更高层次的capsule J和capsule K中。这就是为什么,为了举个例子,在两个capsule J和capsule K中都有一个红色的点。那么,我们的低层次的capsule应该把它的输出送到哪里呢? 是capsule J还是capsule K?低层次capsule的输出,当乘以相应的矩阵W,远离在capsule J中“correct”预测的红色集群capsule J.另一方面,如果将非常接近在右侧的capsule K 中的“true”预测的红色集群.低层次capsule有一个测量机制,高层次capsule更好地适应其结果和将自动调整其权重,这样重量C对应的capsule K会变高,对应的capsule J会变低。
    来自:
    浏览:477

扫码关注云+社区

领取腾讯云代金券