腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

云时之间

机器学习新兵经验合集,经济金融学习经验汇总

专栏作者

237

文章

241341

阅读量

67

订阅数

NLP系列学习：基于Markov的拼音汉字转换方法

编程算法 https 网络安全 NLP 服务

这里最主要的是依靠两个模型：声学模型和语言模型，声学模型接收我们说话的音频，输出的结果为拼音，而从拼音转换到文字，这个就需要语言模型来进行操作。也就是这一篇文章的核心，基于马尔可夫的拼音文字转换方法。

2020-07-14

1.6K0

NLP系列学习：文本分词

NLP 服务编程算法

中文分词是中文自然语言处理的一个非常重要的组成部分，在学界和工业界都有比较长时间的研究历史，也有一些比较成熟的解决方案

2018-08-01

9510

NLP系列学习:文本聚类

数据挖掘 NLP 服务

最近一段时间在文本聚类的工作,一路也遇到了不少坑,自己也写一篇文章记录了一下自己的过程.

2018-07-31

1.5K0

NLP系列学习：命名实体识别（一）

NLP 服务数据库

在自然语言处理中，分词，词性标注，命名实体识别和句法情感分析是非常关键的分支，因为最近需要对此有一些应用，便去了解了一下特定领域目前使用的方法以及一些困难，特此进行总结。

2018-07-24

8410

NLP系列学习:CRF条件随机场(1)

编程算法 NLP 服务机器学习

大家好,今天让我们来看看条件随机场,条件随机场是一项大内容,在中文分词里广泛应用,因为我们在之前的文章里将概率图模型和基本的形式语言知识有所了解,当我们现在再去学习条件随机场会容易比较多(在动笔写这篇文章前我也翻阅了很多的博客,发现很多博主上来就讲一大堆核心公式,而之前的铺垫知识都很少提,我觉得这不太好,会让很多人一开始就懵).

2018-04-11

8725

NLP入门之形式语言与自动机学习(二)

第二篇:逻辑与图论 1:什么是命题? 说起什么是命题,命题是一个能够判断真假的语句,一般可以用一个大写的字母表示为一个命题.举个例子: A:3是奇数 B:铜是金属 C:1+4=2 结果很显然易见,命题

2018-04-11

8750

NLP入门之形式语言与自动机学习(一)

第一篇:集合与推理方法 1:我们为什么要学习形式语言与自动机任何一门科学都有其自身的理论基础,计算机科学也是这样.大家现在看看计算机的技术变化的很快,现在我们很流行的框架和工具很有可能几年内就会变成过时的东西.但是计算机科学的整体的思维不会变,在学习中,我们更要应该看思考能力的培养,如何清楚的表达自己的能力,如何清晰地解决问题的能力以及自己还欠缺的能力.这方面的东西在我看来,是具有持久的价值的,学习理论能够拓展人们的思维,并能使人们在这方面得到训练. 说回形式语言与自动机,大家在大学学习中可能离形式语言与

2018-04-11

2.1K0

NLP入门之语言模型以及n元文法

各位小伙伴们大家好,在接下来的文章中我们将讲述一下什么是语言模型,以及语言模型上的应用,在完善之后我们将会简单的讲解一下语言模型的性能评估,这三点将是这一篇文章的主要内容. 在阅读这篇文章之前,我希

2018-04-11

6570

NLP入门之形式语言与自动机学习(三)

在前边的文章中我们把简单的需要的基础知识简单的列举了一遍,包括简单的集合逻辑,还有图论以及一些的证明方法等等,接下来我们将要开始我们正式的关于形式语言的学习,所以这一篇文章,我们将说一下什么是语言,以

2018-04-11

1K0

NLP入门之语音模型原理

NLP 服务语音识别神经网络编程算法

这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理解,从而在接下来的NLP学习中可以更顺利的学习. 1:传统的语音识别方法: 这里我们

2018-04-11

1.4K0

NLP入门之N元语法模型

在上边我们知道其实当今的自然语言处理的主流趋势是统计自然语言处理,而统计自然语言处理的基本目的就是结合语料库中的一些数据对于某些未知的数据进行处理,从而根据这些数据分布得到一些推论,大家想一想,我们在

2018-04-11

1.2K0

为什么NLP相对来说这么困难?

当我在思考这个问题的时候,不禁回想到了我的小时候就觉得非常神奇的IBM机器人沃森,这台机器人拥有当时人类所制造机器的最顶级的智慧,具有高级语言处理能力并且能够初步理解英语的能力. 初步来看,实现这样的一个能够和语言与人类进行交流的机器人,其中包括语音识别和自然语言处理(包括手语,唇语,肢体语言等)来与人类进行沟通,通过自然语言生成和语音合成来和人类进行交际,同时也需要进行信息检索和信息抽取,从而能够进行推理,根据已知的事实来得到结论. 语言处理中的一些困难: 我们把处理口语和书面语的计算技术称为语音和语言处

2018-04-11

7730

NLP入门-学习路径

这几天NLP我也没有更新,并不是放弃了学习,而是寻找一条合适自己的路径,总结之后,列出来,供有同样志向的小伙伴参考,并且以后文章更新也将按照这个顺序更新,大家一起努力吧! 1:形式语言 2:自动机 3:NLP基本介绍 4:什么是语言模型 5:N-Gram介绍 6:语言模型的应用 7:语言模型的性能评估 8:什么是数据平滑 9:有哪些数据平滑的方法 10:自适应方法介绍 11:概率图模型概述 12:马尔科夫过程 13:隐马尔科夫过程(HMM) 14:HMM的三个基本问题 15:NLP的基本解码问题求解 16

2018-04-11

6210

关于语言模型的一些新理解

这几天又陆陆续续的读了关于一些关于NLP上语言模型的书籍,简单总结了下自己的新的认识: 一:语言模型的性能评价: 1:语言模型的评价目标: 语言模型的计算的概率分布能够与真实的理想模型的概率分布可以相接近(这一点其实是比较困难的,但是这是我们一直追求的目标) 2:困难: 无法知道语言模型的理想模型的真实分布 3:常用的几个指标; 交叉熵,困惑度(这又涉及到了关于熵的相关计算,这将和离散数学和图论上学习到的知识应用到实际生产生活中) 4:自然语言统计方法的一般步骤: 1:收集大量的语料(这是基础操作,也是工

2018-04-11

5470

NLP学习:隐马尔科夫模型(一)

在大学学习<概率论和数理统计>的时候,我们就已经学习过马尔科夫链,这里对于马尔科夫链就不多做赘述,而今天这一篇文章所要概括的是隐马尔科夫模型(HMM). ps:马尔科夫的彼得堡数学学派挺有意思,有兴趣的可以找一些相关资料拓展一下一:隐马尔克夫模型应用隐马尔科夫模型在语音识别上是一种非常成功的一种技术,在自然语言理解上已经运用的非常成熟,由于HMM的诸多优点,我们在以下几个领域应用后有了很不错的成绩: 1:分词处理分词处理在我们生活中很常见,比如在一个句子中,每一个现在的词是HMM的一个状态,而词语的产

2018-04-10

1.2K0

NLP系列学习:前向算法和后向算法

编程算法 NLP 服务

在上一篇文章里,我们简单的概述了隐马尔科夫模型的简单定义在这一篇文章里,我们可以看到HMM经过发展之后是CRF产生的条件,因此我们需要学好隐马尔科夫模型. 在这一部分,我比较推荐阅读宗成庆老师的<自

2018-04-10

1.3K0

关于语言模型的一些新理解

NLP 服务编程算法

这几天又陆陆续续的读了关于一些关于NLP上语言模型的书籍,简单总结了下自己的新的认识:

2018-04-10

8472

NLP入门之N元语法模型

NLP 服务编程算法

编辑文章在上边我们知道其实当今的自然语言处理的主流趋势是统计自然语言处理,而统计自然语言处理的基本目的就是结合语料库中的一些数据对于某些未知的数据进行处理,从而根据这些数据分布得到一些推论,大家想一

2018-04-10

1.6K3

NLP入门之语言模型以及n元文法

NLP 服务机器学习

各位小伙伴们大家好,在接下来的文章中我们将讲述一下什么是语言模型,以及语言模型上的应用,在完善之后我们将会简单的讲解一下语言模型的性能评估,这三点将是这一篇文章的主要内容.

2018-04-10

3K2

NLP入门之形式语言与自动机学习(一)

任何一门科学都有其自身的理论基础,计算机科学也是这样.大家现在看看计算机的技术变化的很快,现在我们很流行的框架和工具很有可能几年内就会变成过时的东西.但是计算机科学的整体的思维不会变,在学习中,我们更要应该看思考能力的培养,如何清楚的表达自己的能力,如何清晰地解决问题的能力以及自己还欠缺的能力.这方面的东西在我看来,是具有持久的价值的,学习理论能够拓展人们的思维,并能使人们在这方面得到训练.

2018-04-10

2.1K2

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态