专栏首页深度学习自然语言处理简单maxPooling单层网络句子分类框架和数学理论

简单maxPooling单层网络句子分类框架和数学理论

为了完成我的基于深度学习的立场检测系统毕业论文,我会从最简单的Pooling单层网络开始系统学习句子分类。接下来会有卷积神经网络CNN层,循环神经网络RNN层等,以后更新。这些都是理论+实践代码(下期会给基于pytorch的python实现代码)。望大家发现错误积极指出,互相在自然语言处理道路上进步!

1

数据清洗

2

分词

英文的文本肯定不用这一步,中文就必须分词了。

3

词向量化

这里我将用随机的向量化,一个词的维度为 n*1

4

句子向量化,标签01化

假设句子 x 词的数量是m,那么它的向量为 n*m(一列一个词向量,顺序排m列)

比如三分类标签 G 分别为[1,0,0],[0,1,0],[0,0,1]

5

初始化权重W

维度为 n*classSize (classSize分类大小)

6

句子向量过maxPooling层

maxPooling就是在一个维度中选择最大的一个,其余抛弃

句子向量 n*m也就是每一行是一个维度,每一行选择最大的,最终维度为 n*1

7

Softmax概率化

P = Softmax(xT*W) 维度1*classSize

8

通过Loss算梯度grad

grad需要通过链式求导求得,即

而其中的

对Loss化简得:

其中

的g表示这个句子的标签中[0,1,0] 1 的位置,y为概率化的结果,y为[0.5,0.3,0.2]

可以推出

由于

,所以:

所以梯度

9

更新W

W=Wαgrad

本文分享自微信公众号 - 深度学习自然语言处理(zenRRan)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • sqlmap被ban了ip怎么办

    sqlmap被ban了ip怎么办 第一种办法 好不容易挖到的注入点,结果总是因为请求速度过快被ban掉ip,我觉得可以给sqlmap加个代理池!暑假前的想法,...

    用户1467662
  • 让你用sublime写出最完美的python代码--windows环境

     至少很长一段时间内,我个人用的一直是pycharm,也感觉挺好用的,也没啥大毛病 但是pycharm确实有点笨重,啥功能都有,但是有很多可能这辈子我也不会用到...

    coders
  • 推荐一款src自动化扫描和收集的工具

    目前支持的功能 全自动扫描: python webmain.py -a target.com --> baidu_site && port/...

    用户1467662
  • 被忽视的攻击面:Python package 钓鱼

    1 概 述 2017年6月2日,Paper 收录了一篇 fate0 的《Package 钓鱼》 文章,该文章讲述了作者在 PyPI 上投放恶意的 Pyth...

    Seebug漏洞平台
  • Python 黑客——使用Python破解门禁系统

    如何使用Python破解门禁系统 前言 Solesec白帽团队楚轩大校原创文章 正文 说起黑客,从小的我就觉得黑客很炫酷,我以前经常看...

    用户1467662
  • python爬虫基础之正则表达式

    Python基础前期后后看了五六遍,除了能读懂一些简单的代码,一直也没有进阶。 这次借助一个爬虫教学视频。把学习中的一些重点写下来,一个是自己巩固,一个是也帮助...

    用户1467662
  • Go实现海量日志收集系统(一)

    项目背景 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 当系统机器比较少时,登陆到服务器上查看即可满足 当系统机器规模巨大,登陆到机器上查看几乎不现...

    coders
  • DiscuzX v3.4 任意文件删除漏洞

    漏洞影响 DiscuzX版本 ≤ v3.4 官方于9月29日修复该漏洞: https://gitee.com/ComsenzDiscuz/DiscuzX/com...

    用户1467662
  • python中重要的模块--asyncio

    一直对asyncio这个库比较感兴趣,毕竟这是官网也非常推荐的一个实现高并发的一个模块,python也是在python 3.4中引入了协程的概念。也通过这次整理...

    coders
  • 一篇文章帮你解决python的包管理

    写python代码的人都知道,一个项目写下下来,不可避免的都需要使用很多第三方包,通常我们都是通过pip install ,然而当我们需要上线的时候问题来了,如...

    coders

扫码关注云+社区

领取腾讯云代金券