专栏首页null的专栏深度学习算法原理——TextCNN

深度学习算法原理——TextCNN

论文地址:Convolutional Neural Networks for Sentence Classification

这篇文章是首次将CNN模型应用在文本分类中,在我的工作中,也是经常需要使用到TextCNN这样的文本分类方法。

1. TextCNN的网络结构

TextCNN的模型结构中主要包含如下的几个部分:

  • Embedding层:将词映射成对应的向量。以上图为例,7个词被影射到对应的kkk维向量中,构成7×k7\times k7×k的矩阵;
  • Convolutional层:对词映射后的特征做卷积操作,注意,这里的卷积是一维卷积;
  • Pooling层:对卷积后的结果做pooling操作;
  • 全连接层:最后接一层全连接的 softmax 层,输出每个类别的概率。

对此过程,有一张更具体的图,如下所示:

2. 词向量的一维卷积

对于上述的7×57\times 57×5的向量,设计666个卷积核,从上到下大小分别为:4×54\times 54×5,4×54\times 54×5,3×53\times 53×5,3×53\times 53×5,2×52\times 52×5和2×52\times 52×5。

3. 词映射成向量

在文中也介绍到词映射成向量,有两种方式:

  • 动态:指利用随机初始化的方法,词的向量也参与到模型的训练过程中;
  • 静态:事先利用word2vec等词向量训练方法,得到固定的词向量,在使用的时候通过查表的方式取得,不参与模型的训练。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习算法原理——经典CNN结构之LeNet-5

    论文地址:http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

    zhaozhiyong
  • 深度学习算法原理——栈式自编码神经网络

    注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

    zhaozhiyong
  • 利用Theano理解深度学习——Convolutional Neural Networks

    注:本系列是基于参考文献中的内容,并对其进行整理,注释形成的一系列关于深度学习的基本理论与实践的材料,基本内容与参考文献保持一致,并对这个专题起名为“利用The...

    zhaozhiyong
  • 1854: [Scoi2010]游戏

    1854: [Scoi2010]游戏 Time Limit: 5 Sec  Memory Limit: 162 MB Submit: 2538  Solved:...

    HansBug
  • Rest api简介

    理解和使用内容协商 我们的开发者在发送一个 REST API 请求的同时,根据应用场景,针对相同的资源,可能会期待不同的返回形式。 比如,我希望根据用户客户端语...

    xiangzhihong
  • 520处处都在秀恩爱!VR来拯救陷落人群中的单身汪

    VRPinea
  • 工资管理系统 sql server数据库设计

    week
  • Linux学习_012_Centos 6.8 安装 Netcat

    2、解压缩文件到指定目录(注意:要先创建 /opt/module/netcat/ 目录)

    黑泽君
  • (23) 枚举的本质 / 计算机程序的思维逻辑

    前面系列,我们介绍了Java中表示和操作数据的基本数据类型、类和接口,本节探讨Java中的枚举类型。 所谓枚举,是一种特殊的数据,它的取值是有限的,可以枚举出来...

    swiftma
  • Kotlin---代码块与Lambda

    Kotlin在原本的语法糖(Syntactic sugar)中加入了很多有意思的语法,让编程看起来更加顺畅,更加简洁,方便阅读。

    None_Ling

扫码关注云+社区

领取腾讯云代金券