中文NLP笔记：3. 关键词提取的几个方法
提取 ，意思是从文本里面把意义最相关的词语抽取出来。
在文献检索、自动文摘、文本聚类/分类等任务中有重要的应用
主要有2种提取方法
1. 关键词分配
在一个已有的关键词库中匹配几个词语作为这篇文档的关键词。
2. 关键词提取
通过算法分析，提取文档中一些词语作为关键词。
其中第二种，关键词提取的常用算法有以下几个
1. 基于 TF-IDF 算法进行关键词提取
TF-IDF ：用于反映一个词对于某篇文档的重要性。过滤掉常见的词语，保留重要的词语
如果某个词在一篇文档中出现的频率高，则TF 高；并且在其他文档中很少出现，则 IDF 高，TF-IDF 就是将二者相乘为 TF * IDF， 这样这个词具有很好的类别区分能力。
在 jieba 用以下代码实现
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
2. 基于 TextRank 算法进行关键词提取
由 PageRank 改进而来，将文本中的词看作图中的节点，通过边相互连接，权重高的节点作为关键词。
在 jieba 用以下代码实现
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
3. 基于 LDA 主题模型进行关键词提取
一般步骤为：文件加载 -> jieba 分词 -> 去停用词 -> 构建词袋模型 -> LDA 模型训练 -> 结果可视化。
4. 基于 pyhanlp 进行关键词提取
可以用 HanLP 的 TextRankKeyword 实现
from pyhanlp import * result = HanLP.extractKeyword(sentence, 20) print(result)
学习资料：
《中文自然语言处理入门实战》