专栏首页mlN-gram的简单的介绍

N-gram的简单的介绍

目录

  1. 联合概率
  2. 条件概率
  3. N-gram的计算方式

     4. 评估N-gram的模型.

前言:

    N-gram是机器学习中NLP处理中的一个较为重要的语言模型,常用来做句子相似度比较,模糊查询,以及句子合理性,句子矫正等. 再系统的介绍N-gram前,我们先了解一下这几种概率.

正文:

  1、联合概率介绍:

    形如:p(W1,....,Wn); 表示的意思是: w1,...Wn同时发生的概率.列举一个具体的例子说明:

    P(A,B) ,表示的是A,B同时发生的概率.

   1.1 当A,B相互独立时,也就是交集为空的时候,P(A,B) = P(A)P(B)

   1.2 当A,B相关联的时候,或者说存在交集的时候,P(A,B) = P(A)P(B|A),如下图所示

 总的样本数为T,A的样本数为7,B的样本数为6,A,B相同的样本数为2

那么:

    P(A,B) =2/T

    1.3 1.2处的公式简化到一般形式:

   P(w1,w2,w3) = P(W1)P(W2|W1)P(W3|W1,W2)

  一般形式为: P(W1,W2,..,Wn) = P(W1)P(W2|W1)...(Wn|Wn-1,...,W2,W1);

  抽象为:

      P(W1,W2,...,Wn) = ∏ni P(wi|w1,w2,..wi-1)     (累乘)

   2、条件概率:

  形如: P(A|B), 当某一系列事件放生时,该事件发生的概率.,如上图中的韦恩图所示:

     P(A|B) = P(A,B)/P(A) =  2/7

  我们将其扩展到一般形式:

    P(A|B,C) =  P(A,B,C) / P(B,C)  = P(A,B,C) / ( P(B|C) P(C) )

   3. N-gram的计算方式:

    N-gram是依据一个预料库中,对于单词的统计,来计算. N-gram常见的有1-gram(一元模型),2-gram(二元模型) ,3-gram(三元模型);

    在语义上只认为相近的几个词有关联 ,如果用韦恩图表示:

       3.1 对于一元模型(1-gram),每个词都是独立分布的,也就是对于P(A,B,C) 其中A,B,C互相之间没有交集. 所以P(A,B,C) = P(A)P(B)P(C)

       比如语句:“猫,跳上,椅子” ,P(A="猫",B="跳上",C="椅子") = P("猫")P(“跳上”)P("椅子");其中各个词的数量数语料库中统计的数量

跳上

椅子

13

16

23

       依据这些数据就可以求出P(A,B,C),也就是这个句子的合理的概率.

                P(A,B,C) = P(A)P(B)P(C) =13/M * 16/M * 23/M

       3.2 对于二元模型,每个词都与它左边的最近的一个词有关联,也就是对于P(A,B,C) = P(A)P(B|A)P(C|B)

       比如语句:“猫,跳上,椅子” ,P(A="猫",B="跳上",C="椅子") = P("猫")P(“跳上”|“猫”)P("椅子"|“跳上”);其中各个词的数量数语料库中统计的数量

跳上

椅子

0

9

1

跳上

0

3

15

椅子

0

0

0

       依据这些图表一和图表二就可以求出P(A,B,C),也就是这个句子的合理的概率.

              P(A,B,C) = P(A)P(B|A)P(C|B)

                   p(A) = 13/M

                  P(B|A) =9/13

                  p(C|B) = 15/16

       3.3 对于三元模型,每个词都与它左边的最近的两个词有关联. 计算同上.

   4. 评估模型的优劣

    对于一个训练好的模型,我们需要评估模型的好坏,N-gram常用的评估方式是:

     pp(w1,w2,...,Wn) = p(w1,w2,...,Wn)-1/n

    我们以上面的一元模型和二元模型来为例,进行评估计算.

        pp(w1,w2,...,Wn)1 = (13/M * 16/M * 23/M)-1/3 = (12*16*23)-1/3*M  一元模型

        pp(w1,w2,...,Wn)2 = (13/M * 9/13 * 15/ 16)-1/3 = (9*15/(16M))-1/3   二元模型

    可以看出二元模型比一元模型的值要小,而值越小说明模型越好.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SVM公式推导笔记

    参考资料: 对偶函数-http://blog.pluskid.org/?p=702 KTT和拉格朗日乘子-http://www.cnblogs.com/zhan...

    Gxjun
  • mxnet框架样本,使用C++接口

    哇塞,好久么有跟进mxnet啦,python改版了好多好多啊,突然发现C++用起来才是最爽的. 贴一个mxnet中的C++Example中的mlp网络和实现,感...

    Gxjun
  • HDUOJ---大菲波数

    大菲波数 Time Limit: 1000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java...

    Gxjun
  • Xamarin截取/删除emoji表情bug解决方案

    大家都知道,一个英文=1字节,一个汉字2字节,而一个emoji表情=4个字节,在有这三种混用的时候,比如app聊天界面,那么删除和截取便成了很头痛的事情。 问题...

    Java中文社群_老王
  • Linux笔记:linux常用命令

    -c  创建一个新tar文件 -v  显示运行过程的信息 -f  指定文件名 -z  调用gzip命令进行压缩 -t  查看压缩文件的内容 -x  解开tar文...

    朝雨忆轻尘
  • 【每天一道编程系列-2018.2.2】(Ans)

    You are given two non-empty linked lists representing two non-negative integers...

    yesr
  • 神速Hash

    面试官: 聊聊HashMap的底层 理解HashMap底层,首先应该理解Hash函数,今天我们聊聊Hash函数出现冲突的解决办法(此故事为连载形式,若没看上篇...

    用户1260737
  • 如何在原有Android项目中快速集成React Native详解

    在得到一些信息后,可以看出,要用RN高效率的做出比较不错的App是有可能的,单看投入度与最初设计是否合理,而且现在关于React Native的各种文档是相当丰...

    砸漏
  • Python入门之os.walk()方法

    os.walk方法,主要用来遍历一个目录内各个子目录和子文件。 os.walk(top, topdown=True, onerror=None, followl...

    Jetpropelledsnake21
  • 这或许是对小白最友好的python入门了吧——6,删除列表元素

    这个时候我们CET考完了,怎么才能把它删除呢。这时候我们可以用del这个函数,用法如下: del exam[0] print(exam) #print的作用...

    用户1315847

扫码关注云+社区

领取腾讯云代金券