NLP 基础知识大集合

大纲

• NLP基础概念
• NLP的发展与应用
• NLP常用术语以及扩展介绍

1.1 什么是NLP

• 基本分类

• 自然语言生成（Natural Language Generation,NLG） 指从结构化数据中以读取的方式自动生成文本，主要包括三个阶段：
  • 文本规划：完成结构化数据中的基础内容规划；
  • 语句规划：从结构化数据中组合语句来表达信息流；
  • 实现：产生语法通顺的语句来表达文本；
• 研究任务
  • 机器翻译
  • 情感分析
  • 智能问答
  • 文摘生成
  • 文本分类
  • 舆论分析
  • 知识图谱

1.2 NLP的发展历程

• 萌芽期（1956年以前） 贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主义方法；
• 快速发展期（1980~1999年） 基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展；
• 突飞猛进期（2000年至今） 神经网络与深度学习；

1.3 NLP相关知识的构成

• 基本术语
  • 分词（segment）
  • 词性标注（part-of-speech tagging）
  • 命名实体识别（NER，Named Entity Recognition） 指从文本中识别具有特定类标的实体（常为名词），如人名、地名、机构名、专有名词等；
  • 句法分析(syntax parsing) 目的是解析句子中各个成分的依赖关系；
  • 指代消解（anaphora resolution）
  • 情感识别（emotion recognition）
  • 纠错（correction）
  • 问答系统（QA system）
• 知识结构 NLP是一门跨学科科学，体系化与特殊化并存，其知识体系如下：
  • 句法语义分析：针对目标句子，进行各种句法分析；
  • 关键词抽取：抽取目标文本中的主要信息；
  • 文本挖掘：主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面；
  • 信息检索：对大规模的文档进行索引；
  • 机器翻译：将输入的源语言文本通过自动化翻译转化为另一种语言的文本；
  • 问答系统：针对某个自然语言表达的问题，由问答系统给出一个精确答案；
  • 对话系统：系统通过多回合对话，与用户进行聊天、问答、完成某项任务；

1.4 语料库

• 中文维基百科
• 搜狗新闻语料库
• IMDB情感分析语料库
• fastText词向量
• 维基可比语料

1.5 探究NLP的几个层面

• 第一层面：词法分析
  • 分词
  • 词性标注 目的是为每个词赋予一个类别；
• 第二层面：句法分析 对输入的文本以句子为单位，进行分析从而得到句子的句法结构的处理过程；
• 第三层面：语义分析 语义角色标注（semantic role labeling）是当前较为成熟的浅层语义分析技术；