使用python进行词频分析
很早之前就接触过python，也玩过python许多有趣的东西，比如用pygame做一个飞机大战的游戏啊、用turtle模块简单绘图啊、使用python链接mysql做crud、用python运行R语言脚本、简单爬虫等等，不过现在应该都快忘了。^_^
使用python进行中文词频分析
首先什么是“词频分析”？ 词频分析，就是对某一或某些给定的词语在某文件中出现的次数进行统计分析。 我们需要使用python的jieba库。 jieba库：优秀的中文分词组件。支持繁体分词、自定义词典。可以对文档进行三种模式的分词： 1、精确模式：试图将句子最精确地切开,适合文本分析; 2、全模式：把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义; 3、搜索引擎模式：在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
jieba库中文分词原理 1、利用一个中文词库，确定汉字之间的关联概率。 2、汉字间概率大的组成词组，形成分词结果。 3、除了分词，用户还可以添加自定义词组。
jieba库安装
打开cmd，键入：pip install jieba
待安装成功即可。
pip安装外库的时候可能会安装失败：是因为使用的是国外镜像 解决方法：使用国内镜像 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba 的确这个样子就可以用了 使用pip也要用python进行安装（本文章设计的所有资料末尾会给出） 解压pip文件包后 在pip目录下cmd,输入命令"python setup.py install" jieba库的简单使用：点击这里
分析刘慈欣小说《三体》（一二三部合集）出现次数最多的词语。
这个案例中分析出了使用数量前三十的词语 如果直接分析的话，会存在非常多的垃圾数据。因为把文档中的标点、空格、没有意义的字、词语全部进行了统计。这并不是我们想要的数据。这个时候我们需要使用停用词表。 停用词表 停用词：停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words（停用词）。 停用词表便是存储了这些停用词的文件。在网上下载停用词表，命名stopwords.txt。（在文末资源中小说和词表都会给出） 统计代码如下
import jieba
txt = open("santi.txt", encoding="utf-8").read()
#加载停用词表
stopwords = [line.strip() for line in open("stopwords.txt",encoding="utf-8").readlines()]
words = jieba.lcut(txt)
counts = {}
for word in words:
#不在停用词表中
if word not in stopwords:
#不统计字数为一的词
if len(word) == 1:
continue
else:
counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(30):
word, count = items[i]
print ("{:<10}{:>7}".format(word, count))结果如下
使用python进行英文词频统计
英文单词词频统计比较简单，就是根据空格来对文本进行切割，然后统计其单词出现的数量。 代码如下
import string
def stats_words(filename):
"""统计文章中单词的频数"""
# 读取文章中的内容
with open(filename,encoding="utf-8") as fbj:
contents = fbj.read()
contents = contents.lower()
# 解析成单词列表
words = contents.split()
# 去除文章中的标点符号
words = [word.strip(string.punctuation) for word in words]
# 去除重复的单词
words_set = set(words)
# 用于存放单词和频数的字典
words_dir = {}
for key in words_set:
words_dir[key] = 0
# 开始统计单词的频数
for word in words:
if word in words_set:
words_dir[word] += 1
return words_dir
file_name = "test.txt"
# 文章中的标点符号要去除
words_dir = stats_words(file_name)
words_dir = sorted(words_dir.items(), key=lambda x: x[1], reverse=True)
print(words_dir)结果如下
资源和代码下载
点击下载 链接：https://pan.baidu.com/s/17RQ72nJOyRsrcVaKtWFKyg 提取码：4au3