自然语言处理概论1.NLP相关学科2.相关术语3.知识内容4.发展概况5.中文特征6.中文语言处理发展的主要困难7.基础理论8.主要应用

1.NLP相关学科

• 语言学
• 信息论
• 生物学
• 计算机科学
• 数学
• 等等......

2.相关术语

• 中文信息处理
• 中文语言处理
• 计算语言学
• 自然语言理解
• 智能化人机接口

3.知识内容

3.1基础

音位学->形态学->词汇学->句法学->语义学->语用学

• 举例

1. 语音输入：delete file x
2. 音位学处理：dilet'#fail#eks
3. 形态学处理："delete" "file" "x"
4. 词汇学处理：（“delete”VERB）(“file”NOUN）（“x”ID）
5. 句法分析处理：

1. 语义分析处理：delete-file('x')
2. 语用分析阶段：特定情境下具有不用含义

3.2应用

3.3资源

• 语料库：北大人民日报语料库、《现代汉语语法信息词典》、概念层次网络等等
• 知网

3.4评测

• 评测方法
• 评测对象
• 评测量度

4.发展概况

1. 从汉字信息处理到汉语信息处理
2. 从单机信息处理到网络信息处理

5.中文特征

• 汉语是大字符集的意音文字
• 汉语词与词之间没有空格
• 汉语的同义词、同音词较多
• 汉语没有形态变化
• 汉语的语法研究尚未规范化

6.中文语言处理发展的主要困难

• 研究力量分散
• 缺乏规范
• 科学的评测机制尚未建立

7.基础理论

7.1主要课题

• 概率论与统计理论
• 统计机器学习理论
• 认知科学理论
• 人工智能基本理论

7.2词法分析的主要课题

• 分词
• 词性标注
• 命名实体识别
• 新词发现

7.3句法分析的主要课题

7.4语义分析的主要课题

• 语义表示
• 概念语义网络
• 词义消歧

7.5语用分析的主要课题

• 自然语言生成
• 语段分析、对话
• 机器翻译

8.主要应用