N-gram的简单的介绍

目录

  1. 联合概率
  2. 条件概率
  3. N-gram的计算方式

     4. 评估N-gram的模型.

前言:

    N-gram是机器学习中NLP处理中的一个较为重要的语言模型,常用来做句子相似度比较,模糊查询,以及句子合理性,句子矫正等. 再系统的介绍N-gram前,我们先了解一下这几种概率.

正文:

  1、联合概率介绍:

    形如:p(W1,....,Wn); 表示的意思是: w1,...Wn同时发生的概率.列举一个具体的例子说明:

    P(A,B) ,表示的是A,B同时发生的概率.

   1.1 当A,B相互独立时,也就是交集为空的时候,P(A,B) = P(A)P(B)

   1.2 当A,B相关联的时候,或者说存在交集的时候,P(A,B) = P(A)P(B|A),如下图所示

 总的样本数为T,A的样本数为7,B的样本数为6,A,B相同的样本数为2

那么:

    P(A,B) =2/T

    1.3 1.2处的公式简化到一般形式:

   P(w1,w2,w3) = P(W1)P(W2|W1)P(W3|W1,W2)

  一般形式为: P(W1,W2,..,Wn) = P(W1)P(W2|W1)...(Wn|Wn-1,...,W2,W1);

  抽象为:

      P(W1,W2,...,Wn) = ∏ni P(wi|w1,w2,..wi-1)     (累乘)

   2、条件概率:

  形如: P(A|B), 当某一系列事件放生时,该事件发生的概率.,如上图中的韦恩图所示:

     P(A|B) = P(A,B)/P(A) =  2/7

  我们将其扩展到一般形式:

    P(A|B,C) =  P(A,B,C) / P(B,C)  = P(A,B,C) / ( P(B|C) P(C) )

   3. N-gram的计算方式:

    N-gram是依据一个预料库中,对于单词的统计,来计算. N-gram常见的有1-gram(一元模型),2-gram(二元模型) ,3-gram(三元模型);

    在语义上只认为相近的几个词有关联 ,如果用韦恩图表示:

       3.1 对于一元模型(1-gram),每个词都是独立分布的,也就是对于P(A,B,C) 其中A,B,C互相之间没有交集. 所以P(A,B,C) = P(A)P(B)P(C)

       比如语句:“猫,跳上,椅子” ,P(A="猫",B="跳上",C="椅子") = P("猫")P(“跳上”)P("椅子");其中各个词的数量数语料库中统计的数量

跳上

椅子

13

16

23

       依据这些数据就可以求出P(A,B,C),也就是这个句子的合理的概率.

                P(A,B,C) = P(A)P(B)P(C) =13/M * 16/M * 23/M

       3.2 对于二元模型,每个词都与它左边的最近的一个词有关联,也就是对于P(A,B,C) = P(A)P(B|A)P(C|B)

       比如语句:“猫,跳上,椅子” ,P(A="猫",B="跳上",C="椅子") = P("猫")P(“跳上”|“猫”)P("椅子"|“跳上”);其中各个词的数量数语料库中统计的数量

跳上

椅子

0

9

1

跳上

0

3

15

椅子

0

0

0

       依据这些图表一和图表二就可以求出P(A,B,C),也就是这个句子的合理的概率.

              P(A,B,C) = P(A)P(B|A)P(C|B)

                   p(A) = 13/M

                  P(B|A) =9/13

                  p(C|B) = 15/16

       3.3 对于三元模型,每个词都与它左边的最近的两个词有关联. 计算同上.

   4. 评估模型的优劣

    对于一个训练好的模型,我们需要评估模型的好坏,N-gram常用的评估方式是:

     pp(w1,w2,...,Wn) = p(w1,w2,...,Wn)-1/n

    我们以上面的一元模型和二元模型来为例,进行评估计算.

        pp(w1,w2,...,Wn)1 = (13/M * 16/M * 23/M)-1/3 = (12*16*23)-1/3*M  一元模型

        pp(w1,w2,...,Wn)2 = (13/M * 9/13 * 15/ 16)-1/3 = (9*15/(16M))-1/3   二元模型

    可以看出二元模型比一元模型的值要小,而值越小说明模型越好.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

机器学习算法一览(附python和R代码)

23714
来自专栏AI科技评论

开发 | TOP5%Kaggler:如何在 Kaggle 首战中进入前 10%

Introduction Kaggle 是目前最大的 Data Scientist 聚集地。很多公司会拿出自家的数据并提供奖金,在 Kaggle 上组织数据竞赛...

5658
来自专栏新智元

谷歌等祭出图像语义理解分割神器,PS再也不用专业设计师!

不不不,这不是“找不同”,是为了让你感受一下“像素级语义分割和理解”带来的修图效果:

1062
来自专栏人工智能LeadAI

时间序列异常检测 EGADS Surus iForest

时间序列异常检测 (原文链接:http://wurui.cc/tech/time-series-anomaly-detection/) 本文总结了我在时间序列异...

1.3K4
来自专栏量化投资与机器学习

【Matlab量化投资】支持向量机择时策略

推出【Matlab量化投资系列】 机器学习 所谓机器学习,其实就是根据样本数据寻找规律,然后再利用这些规律来预测未来的数据(结果)。 但是,直到今天,机器学习...

2646
来自专栏量化投资与机器学习

【全网首发】机器学习该如何应用到量化投资系列(二)

有一些单纯搞计算机、数学或者物理的人会问,究竟怎么样应用 ML 在量化投资。他们能做些什么自己擅长的工作。虽然在很多平台或者自媒体有谈及有关的问题,但是不够全面...

2616
来自专栏marsggbo

Andrew Ng机器学习课程笔记--week9(上)(异常检测&推荐系统)

本周内容较多,故分为上下两篇文章。 一、内容概要 1. Anomaly Detection Density Estimation Problem Motiva...

2349
来自专栏机器之心

深度 | 从数据结构到Python实现:如何使用深度学习分析医学影像

选自Medium 作者:Taposh Dutta-Roy 机器之心编译 运用深度学习技术进行图像和视频分析,并将它们用于自动驾驶汽车、无人机等多种应用场景中已成...

6959
来自专栏人工智能头条

数据科学与机器学习管道中预处理的重要性(一):中心化、缩放和K近邻

2053
来自专栏杨熹的专栏

机器学习-多元线性回归

A. 用途: 可以用来预测,由多种因素影响的结果。 B. 建立公式: ? C. 求解方法: 方法1. Gradient Descent: ? ...

3515

扫码关注云+社区