NLP系列学习:常用的语言平滑模型

语言模型常见的平滑算法就那几种,一般的教程都不提分几种的模式、分类。

不过在MIT的NLP课程ppt中总结说有三种模式:Discounting, Interpolationg, Back-off

有关这三种模式的描述可以见其PPT(http://people.csail.mit.edu/regina/6864/lec2-2.pdf

Discounting类包括:

Add-One Smoothing(加法平滑)

Good-Turing Discounting(图灵平滑)

Katz Smoothing

Interpolation类包括:

Linear Interpolation(插值平滑)

Back-off类包括:

Kneser-Ney Smoothing

有关各个平滑算法的具体描述,也可见上述PPT。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序生活

计算两个字符串相(或句子)似度的方法1 编辑距离2 余弦相似度3 FuzzyWuzzy

8633
来自专栏新智元

AI开发最大升级:Pandas与Scikit-Learn合并,新工作流程更简单强大!

对于许多数据科学家来说,一个典型的工作流程是在Scikit-Learn进行机器学习之前,用Pandas进行探索性的数据分析。新版本的Scikit-Learn将会...

2733
来自专栏人工智能LeadAI

讨厌算法的程序员 | 第三章 算法分析基础

时间资源 上一篇,我们知道了如何用循环不变式来证明 算法的正确性,本篇来看另一个重要方面:算法分析。分析算法的目的,是预测算法所需要的资源。资源不仅是指内存、C...

2795
来自专栏计算机视觉与深度学习基础

HDU4832

由于水平和竖直相互独立,所以可以分开计数,最后再用组合数算一下,万年老坑long long #include<cstdio> #include<iostream...

20510
来自专栏null的专栏

数据结构和算法——动态规划

一、动态规划的思想     动态规划(dynamic programming)是一种算法设计的思想,主要是将一个问题划分成几个更小的问题,并对这样更小的问题进行...

3314
来自专栏塔奇克马敲代码

RTKLIB源码解析(一)——单点定位(pntpos.c)

1903
来自专栏ascii0x03的安全笔记

使用sklearn构建含有标量属性的决策树

网络上使用sklearn生成决策树的资料很多,这里主要说明遇见标量数据的处理。 经查验参考资料,sklearn并非使用了课上以及书上讲的ID3算法,而是选择了C...

3906
来自专栏C语言及其他语言

【每日一题】1447: [蓝桥杯][历届试题]格子刷油漆

好消息,网站又新增新功能,赶紧去看看吧! 题目描述 X国的一段古城墙的顶端可以看成 2*N个格子组成的矩形(如下图所示),现需要把这些格子刷上保护漆。 ...

2879
来自专栏机器之心

教程 | 如何使用TensorFlow中的高级API:Estimator、Experiment和Dataset

选自Medium 作者:Peter Roelants 机器之心编译 参与:李泽南、黄小天 近日,背景调查公司 Onfido 研究主管 Peter Roelant...

6467
来自专栏Python数据科学

5种方法教你用Python玩转histogram直方图

直方图是一个可以快速展示数据概率分布的工具,直观易于理解,并深受数据爱好者的喜爱。大家平时可能见到最多就是 matplotlib,seaborn 等高级封装的库...

3371

扫码关注云+社区

领取腾讯云代金券