首页
学习
活动
专区
工具
TVP
发布

胶囊网络(Capsule Network)在文本分类的探索

然后到目前为止,并没用工作将capsule network应用于自然语言处理中(e.g.,文本分类) 。我们针对capsule network在文本分类任务上的应用做了深入研究。...对于传统的分类问题,capsule network取得了较好性能(我们在6个benchmarks上进行了实验,capsulenetwork在其中4个中取得了最好结果)。...由于本文的重点是研究capsule network相对已有分类算法(e.g., LSTM, CNN)是否有提升,我们并没用与网络结构太过复杂的模型进行对比。实验结果如下: ?...从表中我们可以看出,当我们用单标签数据对模型进行训练,并在多标签数据上进行测试时,capsule network的性能远远高于LSTM、CNN等。 ? ?...https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/ https://spaces.ac.cn

2.6K80
您找到你想要的搜索结果了吗?
是的
没有找到

Siamese Network & Triplet NetWork

Siamese Network(孪生网络) 简单来说,孪生网络就是共享参数的两个神经网络 ? 在孪生网络中,我们把一张图片$X_1$作为输入,得到该图片的编码$G_W(X_1)$。...由于相似的图片应该具有相似的特征(编码),利用这一点,我们就可以比较并判断两张图片的相似性 孪生网络的损失函数 传统的Siamese Network使用Contrastive Loss(对比损失函数)...;验证标题与正文的描述是否一致(标题和正文长度差别很大),或者文字是否描述了一幅图片(一个是图片,一个是文字)就应该使用Pseudo-Siamese Network Triplet Network(三胞胎网络...) 如果说Siamese Network是双胞胎,那Triplet Network就是三胞胎。...Triplet Network在CIFAR,MNIST数据集上效果均超过了Siamese Network ?

1.9K20

浅析 Hinton 最近提出的 Capsule 计划

修复了一些笔误,加入了更多关于无监督学习的介绍内容,使思路更完整;以及一两句关于 Capsule 实际效果的消息。 这有可能也是知乎上面分析介绍深度学习最为全面的文章之一。...为主题做了多场报道 [1] [2],提出了他的 Capsule 计划。Hinton似乎毫不掩饰要推翻自己盼了30多年时间才建立起来的深度学习帝国的想法 [3]。...但是从几次演讲来看,他的 Capsule 计划确实和以前的方法出入比较大。Hinton 演讲比较风趣,但是也存在思维跳跃,难度跨度太大等问题。...这些问题在他的关于 Capsule 的报告中还是比较突出的。可以说仅仅看报告很难理解完全 Hinton 的想法。我这几天结合各类资料,整理了一下 Hinton 的思路和动机,和大家分享一下。

25220

浅析Geoffrey Hinton最近提出的Capsule计划

他在 2011 年的时候,就第一次提出了 Capsule 结构 [9](我们会在后面解释 Capsule 是什么)。不过那次 Hinton 打擂显然没有成功。...于是 Hinton 也提出了一个对应的结构,称为 capsule(胶囊,和微柱对应)。这就是 capsule 的由来。 但是 capsule 做了什么?之前的 CNN 又有什么问题?...通过这可以看到 Hinton 使用 Capsule 的一个原因是觉得 Capsule 相比单个神经元更适合用来做表示。...Capsule 与 coincidence filtering(巧合筛分) 那么高层的 Capsule 怎么从底层的 Capsule 获取信息呢? 首先 Capsule 的输出是什么?...然后通过对底层的 Capsule 做 coincidence filtering(巧合筛分)决定激活哪些高层的 Capsule

1K140

Capsule:开源的JVM应用部署工具

capsule首次安装时,其正常运行需要依赖在1个临时目录中生成的一些文件,随后用户可以在任何时刻删除这些文件,不会对capsule产生任何不良影响。...Capsule Magic with Caplets 通过Caplets实现的Capsule魔法 Capsule之所以能保持简单还能提供这些功能主要归功于caplets,以模块化定制Capsule行为。...Caplets可以嵌入到1个capsule,或者单独进行包装并使用命令行包装和修改现有capsule行为。...1467463 capsule-maven-1.0.jar 如你所见, WAR包含Capsule 类,这意味着它是一个capsule,也是嵌入式JAR,而 capsule-maven-1.0.jar是...608 META-INF/MANIFEST.MF 161596 Capsule.class 1467463 capsule-maven-1.0.jar 266 app.js 当capsule发布

1K90

Pointer Network

Pointer Network是seq2seq模型的一种变型。seq2seq模型是一种编码-解码框架的端到端生成模型,已经在机器翻译、对话生成、语法改错等领域有了成功的进展。本文不再赘述。...此处主要介绍Pointer Network的基本原理和作用。...Pointer Network的主要作用 Pointer Network主要用于解决组合优化问题,传统的优化问题寻优一般使用启发式的搜索算法,基于Pointer Network主要是对源数据进行组合...Pointer Network的模型框架 ? 对于凸包问题,可以简述为:可定图中若干点,选取其中几个连接成凸多边形使得该多边形能包含图中所有的点。...(3)区别于seq2seq +Attention模型,Pointer Network直接使用Attention的权重信息作为位置重要性的概率分布输出 ?

2.1K40
领券