什么是自然语言处理?#NLP系列课01

《人工智能Mix+》专栏系列文章

Natural Language Processing，简称NLP

自然语言处理横跨：计算机科学、语言学、人工智能等学科，是计算机科学与语言学的交叉学科，又常被称为计算语言学。

自然语言处理的目标是让电脑用人类语言做一些聪明的事情和利用人类语言进行自我表达。比如安排约会、买东西、或更高级的目标——理解世界。

每天你都在使用各种各样的自然语言处理软件，例如输入法的输入补全、搜索引擎的搜索建议、推断某条推文是正面还是负面、机器翻译等。

目前集中的研究方向是智能问答，我们希望生产出使用自然语言与用户交流的产品，例如苹果siri——把人类语言变成了消费级产品。

- 技术的进步催生新产品

- 拼音输入法

不少80后、70后学习过五笔输入法。但后来，拼音输入法几乎完全取代了五笔字型。

当年五笔输入法流行的时候，拼音输入法的智能程度非常低，用户需要为每一个拼音从大量的同音字中选择正确的汉字，输入速度非常慢。

后来自然语言处理技术取得进展，统计语言模型使得我们能够为一长串的拼音自动选择最可能的汉字，使得拼音输入法的更方便、快速，最终取代了五笔输入法。

- 智能音箱

2020年2月11日消息称，美国七成智能音箱用户使用亚马逊Echo 碾压苹果和谷歌。

而据可查数据显示，美国市场智能音箱用户量在2019年1月已达6640万，换算下，相当于亚马逊Echo的用户数将在4000万+，亚马逊应用于智能音箱Echo无疑成为了全球范围内截至目前最为成功的消费级AI产品。

- 自然语言处理的过程

如上所示，对于文本（text），依次经历了以下几个过程：

分词(Tokenization)

形态分析(Morphological analysis)

句法分析(syntactic analysis)

语义理解(semantic interpretation)

篇章处理(discourse processing)

简单来说，就是把一大段文本，切成各种各样的词，然后区分出主谓宾、定状补等句式，最后理解这段话指代的真实意思。

一段文本

——> 分词

——> 词性

——>句法

——>语义

- 自然语言生成

Natural Language Generation，简称NLG

自然语言生成，从知识库或逻辑形式等等机器表述系统去生成自然语言。

- 马尔科夫链

马尔科夫链是最早用于语言生成的算法之一。它仅通过使用当前单词来预测句子中的下一个单词。例如有如下2个句子：

I drink coffee in the morning

I eat sanwiches with tea

马尔科夫链模型学习到 coffee 会跟随 drink的可能性是 100%，而 I 跟随 drink 的可能性是 50%，跟随 eat 的可能性也是 50%。

马尔科夫链学习每一个单词之间的关系来计算下一个单词的概率。

- OpenAI GPT-2

2019 年，OpenAI 发布了GPT-2语言模型，它有大约 15 亿个参数，只需寥寥可数的几行输入文本即可生成长篇连贯的文章。

- 思考题

目前的技术，很多时候，机器能理解一半的含义就够了