修复了一些笔误，加入了更多关于无监督学习的介绍内容，使思路更完整；以及一两句关于 Capsule 实际效果的消息。 这有可能也是知乎上面分析介绍深度学习最为全面的文章之一。...为主题做了多场报道 [1] [2]，提出了他的 Capsule 计划。Hinton似乎毫不掩饰要推翻自己盼了30多年时间才建立起来的深度学习帝国的想法 [3]。...但是从几次演讲来看，他的 Capsule 计划确实和以前的方法出入比较大。Hinton 演讲比较风趣，但是也存在思维跳跃，难度跨度太大等问题。...这些问题在他的关于 Capsule 的报告中还是比较突出的。可以说仅仅看报告很难理解完全 Hinton 的想法。我这几天结合各类资料，整理了一下 Hinton 的思路和动机，和大家分享一下。
他在 2011 年的时候，就第一次提出了 Capsule 结构 [9]（我们会在后面解释 Capsule 是什么）。不过那次 Hinton 打擂显然没有成功。...于是 Hinton 也提出了一个对应的结构，称为 capsule（胶囊，和微柱对应）。这就是 capsule 的由来。 但是 capsule 做了什么？之前的 CNN 又有什么问题？...通过这可以看到 Hinton 使用 Capsule 的一个原因是觉得 Capsule 相比单个神经元更适合用来做表示。...Capsule 与 coincidence filtering（巧合筛分） 那么高层的 Capsule 怎么从底层的 Capsule 获取信息呢？ 首先 Capsule 的输出是什么？...然后通过对底层的 Capsule 做 coincidence filtering（巧合筛分）决定激活哪些高层的 Capsule。
在capsule首次安装时，其正常运行需要依赖在1个临时目录中生成的一些文件，随后用户可以在任何时刻删除这些文件，不会对capsule产生任何不良影响。...Capsule Magic with Caplets 通过Caplets实现的Capsule魔法 Capsule之所以能保持简单还能提供这些功能主要归功于caplets，以模块化定制Capsule行为。...Caplets可以嵌入到1个capsule，或者单独进行包装并使用命令行包装和修改现有capsule行为。...1467463 capsule-maven-1.0.jar 如你所见， WAR包含Capsule 类，这意味着它是一个capsule，也是嵌入式JAR，而 capsule-maven-1.0.jar是...608 META-INF/MANIFEST.MF 161596 Capsule.class 1467463 capsule-maven-1.0.jar 266 app.js 当capsule发布
本库用 Pytorch 实现的 Capsule Network 基于以下论文： Dynamic Routing Between Capsules by Sara Sabour, Nicholas Frosst...and Geoffrey Hinton https://arxiv.org/abs/1710.09829 官方用 TensorFlow 实现的 Capsule Network 的论文地址如下： https...35.8s per epoch（twice the batch size -> half the iteration） Github 地址 https://github.com/danielhavir/capsule-network
然后到目前为止，并没用工作将capsule network应用于自然语言处理中（e.g.,文本分类) 。我们针对capsule network在文本分类任务上的应用做了深入研究。...对于传统的分类问题，capsule network取得了较好性能（我们在6个benchmarks上进行了实验，capsulenetwork在其中4个中取得了最好结果）。...从表中我们可以看出，当我们用单标签数据对模型进行训练，并在多标签数据上进行测试时，capsule network的性能远远高于LSTM、CNN等。 ? ?...具体来说，我们删除卷积胶囊层，将primary capsule layer直接链接到fully-connectedcapsule layer，其中primary capsule 代表了N-gram短语在...capsule里的形式，capsule之间的连接强度代表了每个primary capsule在本文类别中的重要性（比较类似并行注意力机制）。
10月26日，深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。...Hinton 之前就一直介绍Capsule的理念，之前专知也有文章介绍。 【深度】浅析Geoffrey Hinton最近提出的Capsule计划 今天我们简读下这篇重量级论文讲了些什么 ?...同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测相同时，更高级别的 capsule 变得活跃。...我们展示了判别式训练的多层 capsule 系统在 MNIST 数据集上达到了最好的性能效果，比识别高度重叠数字的卷积网络的性能优越很多。...为了达到这些结果，我们使用迭代的路由协议机制：较低级别的 capsule 偏向于将输出发送至高级别的 capsule，有了来自低级别 capsule 的预测，高级别 capsule 的活动向量具备较大的标量积
【新智元导读】Hinton 提出用 Capsule 这个概念代替反向传播，引起广泛关注。本文来自Reddit上“Capsule networks为何与众不同，它真的比CNN效果更好吗？”...的讨论，作者分析了capsule network与CNN不同的三个方面。 首先，capsule 的概念与卷积的概念大部分是独立的。例如，你可以有一个完全连接的capsule网络。...因为capsule网络与传统的神经网络相比是如此的不同，以至于很难理解它们之间的差异。在这里我将详细介绍capsule网络的细节，然后总结一下不同之处。...简单描述capsule网络 首先，我们可以看看capsule的动机（从Hinton的谈话中摘出来的）。CNN的过滤器所做的就是检测源图像中是否存在特定的模式/特性。...3）capsule之间的routing 这就是capsule网络如此与众不同的原因。与普通的层相比，capsule层是完全不同的。首先，我们转换输入向量来得到预测向量。
胶囊网络（Capsule Networks）图领奖得主Geoffrey Hinton在17年提出的一种新型神经网络结构，可以克服卷积神经网络存在的一些问题。...CVPR2019包含了多个与胶囊网络相关的教程，本文介绍其中Yogesh Rawat的一篇综述PPT《Capsule Networks: A Survey》，其内容大致如下： 简介 早期工作 基础工作
同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时，更高级别的 capsule 变得活跃。...Capsule 如何计算输入和输出向量 现在有很多可能的方式能实现 Capsule 的一般性概念。...对于 Capsule 除了第一层的所有层级，Capsule s_j 的总输入为下面 Capsule 层级中所有「预测向量」 ?...在卷积 Capsule 层中，每一个 Capsule 单元都是一个卷积单元，因此每一个 Capsule 将输出一个向量组而不是单个输出向量。 ? 4....最后的层（DigitCaps）的每个数字类别都有一个 16D capsule，每个 capsule 接收来自下面一层所有 capsule 的输入。
PhysX4.1的Capsule-Heightfield大致代码结构和Sphere-Heightfield差不多，都是遍历包围盒内的三角形，然后用Capsule和每个三角形做检测，不熟悉的读者可以看我的前一篇文章
同一层级的 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时（本论文使用动态路由使预测一致），更高级别的 capsule 将变得活跃。」...其中 v_j 为 Capsule j 的输出向量，s_j 为上一层所有 Capsule 输出到当前层 Capsule j 的向量加权和，简单说 s_j 是 Capsule j 的输入向量。...Capsule i 和后一层级所有 Capsule 间的耦合系数和为 1。...该主体函数主要调用了一个 slim 卷积 Capsule 层和一个 Capsule 层。...而为了连接卷积 Capsule 层和顶部的全连接 Capsule 层，卷积 Capsule 层的网格位置将与不同类型的 Capsule 维度相合并，并且 Capsule 将为嵌入向量学习不同的变换。
同一层级的 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时（本论文使用动态路由使预测一致），更高级别的 capsule 将变得活跃。」...其中 v_j 为 Capsule j 的输出向量，s_j 为上一层所有 Capsule 输出到当前层 Capsule j 的向量加权和，简单说 s_j 就为 Capsule j 的输入向量。...最下面的层级 u_i 共有两个 Capsule 单元，该层级传递到下一层级 v_j 共有四个 Capsule。...对于所有在 l 层的 Capsule i 和在 l+1 层的 Capsule j，先初始化 b_ij 等于零。...而第三层 j 有 10 个标准的 Capsule 单元，每个 Capsule 的输出向量有 16 个元素。
实际上最近几年来，Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播，几乎是出于同一个原因：不像大脑。...Hinton提出，应该在现有神经网络结构的基础上，加一个capsule的层级，每一层网络的神经元组成capsule，在内部做计算，然后输出一个压缩的结果。 到底什么是capsule？...今年，关心capsule的网友也不少，甚至直接点名Hinton来问： capsule怎么样了？...活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时，较高层的capsule就开始活动。...为了达到这样的结果，我们用了一个迭代的路由协议机制：一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。 Capsule是什么？
【导读】10月26日，深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终于在arxiv上发表。...同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测相同时，更高级别的 capsule 变得活跃。...我们展示了判别式训练的多层 capsule 系统在 MNIST 数据集上达到了最好的性能效果，比识别高度重叠数字的卷积网络的性能优越很多。...为了达到这些结果，我们使用迭代的路由协议机制：较低级别的 capsule 偏向于将输出发送至高级别的 capsule，有了来自低级别 capsule 的预测，高级别 capsule 的活动向量具备较大的标量积...LaoDar/tf_CapsNet_simple PyTorch: nishnik/CapsNet-PyTorch timomernick/pytorch-capsule gram-ai/capsule-networks
，利用重构过程，capsule 模型可以把这张图像还原成?，并且还知道这张被识别成?、还原成?的图像并不是?。...特征重建输入图像的网络，可以提升 capsule 网络的判别性能。...通过重建网络进行反向传播的导数迫使顶层 capsule 的姿态参数去捕获大量图像信息。利用此类正则化器训练的 capsule 网络不仅能输出类别，还能输出输入的类别条件重建图像。...capsule 模型不仅能够对图像进行分类，还可以利用姿态参数（pose parameters）和正确的顶层 capsule 特征来重建图像。...图 A.1：用于重建的 CNN+R 和 Capsule 模型的架构。 所以这篇论文的意义到底是什么呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
