自然语言处理绪论1.词法分析歧义2.两类不同的语言处理模型3.评测技术4.图灵实验5.学习姿势

1.词法分析歧义

• 自然语言处理中的歧义

分词歧义，作为自然语言处理的第一个步骤。

词性标注

语法分析歧义

语义分析歧义

语用歧义

2.两类不同的语言处理模型

2.1能力模型

基于语言学规则的模型

• 建模步骤：

1. 语言学知识的形式化
2. 形式化规则算法化
3. 算法实现

2.2应用模型

根据不同的语言处理应用而建立的特定的语言模型，通常是基于统计的门票性。又称为“经验主义的” 语言模型

• 建模步骤：

1. 通过大规模的真是语料库，获取语言各级语言单位上的统计信息
2. 一句较低级语言单位上的统计信息，运用相关的统计推理新技术计算较高级语言单位上的统计信息

统计与规则相结合的方法，取长补短

3.评测技术

• 著名的国际评测：

Sigham Conll TREC

4.图灵实验

• 一种确定计算机是否会思考的实验．一个人向计算机发问，另一个不知情的人试图从回答中区分是人还是计算机．如果计算机没有被辨认出，便通过了图灵实验。 百度 维基百科
• 假想实验：

网络图片

5.学习姿势

学习的正确姿势