NLTK，一个自然语言处理操作的 Python 库！

大家好我是小亮！今天给大家分享一个很强大的自然语言处理操作的 Python 库！——NLTK。

自然语言处理（NLP）是人工智能领域中一个重要的分支，旨在让计算机能够理解、解释和生成人类语言。NLTK（Natural Language Toolkit）作为 Python 中最受欢迎的 NLP 库之一，提供了丰富的语料库、工具和算法，帮助开发者快速实现各种 NLP 任务，降低了 NLP 应用开发的门槛，无论是研究人员进行学术研究，还是工程师开发实际应用，NLTK 都是一个强大的助手。

安装指南

可以使用 pip 安装 NLTK：

pip install nltk

安装完成后，还需要下载一些常用的语料库和工具。在 Python 交互环境中执行以下代码：

import nltknltk.download('punkt')nltk.download('averaged_perceptron_tagger')nltk.download('stopwords')

这里下载了punkt用于分词，averaged_perceptron_tagger用于词性标注，stopwords用于获取停用词列表。根据具体需求，还可以下载其他语料库和工具。

基本用法

分词

分词是将文本拆分成单个单词或短语的过程。

import nltkfrom nltk.tokenize import word_tokenizetext = "Hello, world! How are you?"tokens = word_tokenize(text)print(tokens)

上述代码使用word_tokenize函数对给定文本进行分词，输出结果是一个包含单词和标点符号的列表。

词性标注

词性标注是为每个单词标记其词性。

import nltkfrom nltk.tokenize import word_tokenizefrom nltk import pos_tagtext = "I love natural language processing."tokens = word_tokenize(text)tagged = pos_tag(tokens)print(tagged)

pos_tag函数接受分词后的列表，返回一个包含单词及其词性标签的元组列表，如('I', 'PRP')表示单词I的词性是人称代词（PRP）。

高级用法

命名实体识别（NER）

命名实体识别用于识别文本中的命名实体，如人名、地名、组织名等。

import nltkfrom nltk.tokenize import word_tokenizefrom nltk import pos_tag, ne_chunktext = "Apple is looking at buying U.K. startup for $1 billion"tokens = word_tokenize(text)tagged = pos_tag(tokens)entities = ne_chunk(tagged)print(entities)

ne_chunk函数基于词性标注结果进行命名实体识别，输出结果是一个树形结构，其中叶子节点是单词及其词性，非叶子节点表示识别出的命名实体。

文本分类

以情感分析为例，使用 NLTK 进行简单的文本分类。

import nltkfrom nltk.sentiment import SentimentIntensityAnalyzersia = SentimentIntensityAnalyzer()text = "This movie is really great! I loved it."scores = sia.polarity_scores(text)print(scores)

SentimentIntensityAnalyzer通过分析文本中的词汇和语法结构，为文本打分，scores字典中的'neg'、'neu'、'pos'分别表示负面、中性、正面情感的得分，'compound'是综合得分，范围在 -1 到 1 之间，越接近 1 表示越积极，越接近 -1 表示越消极。

实际使用案例

假设要开发一个简单的影评情感分析应用。

import nltkfrom nltk.sentiment import SentimentIntensityAnalyzersia = SentimentIntensityAnalyzer()reviews = [   "The movie was amazing! The plot was engaging and the acting was top - notch.",   "I didn't like the movie at all. The story was boring and the characters were dull."]for review in reviews:   scores = sia.polarity_scores(review)   if scores['compound'] >= 0.05:       sentiment = "Positive"   elif scores['compound'] <= - 0.05:       sentiment = "Negative"   else:       sentiment = "Neutral"   print(f"Review: {review}\nSentiment: {sentiment}\n")

这个应用对给定的影评列表进行情感分析，根据综合得分判断影评的情感倾向是积极、消极还是中性。

NLTK 为 Python 开发者提供了一个全面且易于使用的自然语言处理平台。通过其丰富的功能和工具，开发者可以快速实现从基本的文本处理到复杂的 NLP 任务。无论是处理小型文本数据集还是大型语料库，NLTK 都能提供有效的解决方案。

你在使用 NLTK 进行自然语言处理时，遇到过哪些挑战？或者发现了哪些有趣的应用场景？欢迎在评论区分享，和小编一起交流探讨。

练习题

使用 NLTK 对一段新闻文本进行分词和词性标注，输出每个单词及其词性。

从 NLTK 提供的电影评论语料库中加载数据，训练一个简单的文本分类器，用于判断影评是正面还是负面。

对一段包含多个句子的文本进行命名实体识别，提取出所有的人名、地名和组织名，并统计它们出现的次数。