Python文本挖掘:基于共现提取《釜山行》人物关系

《釜山行》是一部丧尸灾难片,其人物少、关系简单,非常适合我们学习文本处理。这个项目将介绍共现在关系中的提取,使用python编写代码实现对《釜山行》文本的人物关系提取,最终利用Gephi软件对提取的人物关系绘制人物关系图。实体间的共现是一种基于统计的信息提取。关系紧密的人物往往会在文本中多段内同时出现,可以通过识别文本中已确定的实体(人名),计算不同实体共同出现的次数和比率。当比率大于某一阈值,我们认为两个实体间存在某种联系。这种联系可以具体细化,但提取过程也更加复杂。因此在此课程只介绍最基础的共现网络。 1.开发环境 剧本

http://7xktmz.com1.z0.glb.clouddn.com/Train%20to%20Busan.txt

字典

http://labfile.oss.aliyuncs.com/courses/677/dict.txt

gephi Python2+jieba库 2.实验过程 开始编写我们的代码。

import os, sys

import jieba, codecs, math

import jieba.posseg as pseg

names = {}

relationships = {}

lineNames = []

字典类型names保存人物,该字典的键为人物名称,值为该人物在全文中出现的次数。字典类型relationships保存人物关系的有向边,该字典的键为有向边的起点,值为一个字典edge,edge的键是有向边的终点,值是有向边的权值,代表两个人物之间联系的紧密程度。lineNames是一个缓存变量,保存对每一段分词得到当前段中出现的人物名称,lineNames[i]是一个列表,列表中存储第i段中出现过的人物。

jieba.load_userdict("dict.txt")

with codecs.open("to_train.txt", "r", "utf8") as f:

for line in f.readlines():

poss = pseg.cut(line)

lineNames.append([])

for w in poss:

if w.flag != "nr" or len(w.word) < 2:

continue

lineNames[-1].append(w.word)

if names.get(w.word) is None:

names[w.word] = 0

relationships[w.word] = {}

names[w.word] += 1

在具体实现过程中,读入剧本的每一行,对其做分词。提取该行中出现的人物集存入lineNames中。之后对出现的人物,更新他们在names中的出现次数。

for line in lineNames:

for name1 in line:

for name2 in line:

if name1 == name2:

continue

if relationships[name1].get(name2) is None:

relationships[name1][name2]= 1

else:

relationships[name1][name2] = relationships[name1][name2]+ 1

对于lineNames中每一行,我们为该行中出现的所有人物两两相连。如果两个人物之间尚未有边建立,则将新建的边权值设为1,否则将已存在的边的权值加1。这种方法将产生很多的冗余边,这些冗余边将在最后处理。

with codecs.open("node.txt", "w", "gbk") as f:

f.write("Id Label Weight\r\n")

for name, times in names.items():

f.write(name + " " + name + " " + str(times) + "\r\n")

with codecs.open("edge.txt", "w", "gbk") as f:

f.write("Source Target Weight\r\n")

for name, edges in relationships.items():

for v, w in edges.items():

if w > 3:

f.write(name + " " + v + " " + str(w) + "\r\n")

将已经建好的names和relationships输出到文本,以方便gephi可视化处理。输出边的过程中可以过滤可能是冗余的边,这里假设共同出现次数少于3次的是冗余边,则在输出时跳过这样的边。 完整的代码如下。

运行得到节点集合node.txt,边集合edge.txt。

下面使用gephi这个软件来将人物关系可视化。启动gephi,分别选择节点表格和边表格导入上面代码中生成的两个文件,分隔符选择空格,编码选择GB2312。

可以在最上方的数据资料选项卡中查看图中所有的边和节点,对于分词不准确导致的噪音可以手动删除。分别点击右侧统计栏中平均度和模块化运行计算。模块化运算时Resolution值填写0.5。

点击左上角外观中节点第一个选项卡,选择数值设定,选择Modularity Class,点击应用。

点击左上角外观中节点第二个选项卡,选择数值设定,选择连入度,最小尺寸填10,最大尺寸填40,点击应用。

选择左下角布局中的Force Atlas,斥力强度填写20000.0,吸引强度填写 1.0。点击运行,稍后点击停止。

点染色根据模块化计算结果不定,但染色效果大致相同。点击最上方的预览按钮,选中左侧节点标签中显示标签选项,并选择一种字体。

点击刷新按钮,右侧显示最终的人物关系图。为了优化显示的效果,还可以调整左边的参数。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-09-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

数据管理—reshape2包

我就在这里等你关注,不离不弃 ——A·May R-50T-50 ? 「序 言 」 不知不觉,已经写了半百的R语言了,感觉等数据准备这个大阶段结束,有必要将数据理...

2170
来自专栏游戏开发那些事

【Unity游戏开发】UGUI不规则区域点击的实现

  马三从上一家公司离职了,最近一直在出去面试,忙得很,所以这一篇博客拖到现在才写出来。马三在上家公司工作的时候,曾处理了一个UGUI不规则区域点击的问题,制作...

2613
来自专栏郭耀华‘s Blog

2018年奇虎360春招笔试题--玫瑰花

1322
来自专栏瓜大三哥

IO约束(下)

Output接口类型和约束 FPGA 做Output 的接口时序同样也可以分为系统同步和源同步。在设置XDC约束时,总体思路与Input类似,只是换成要考虑下游...

2327
来自专栏CSDN技术头条

大数据并行计算利器之MPI/OpenMP

1 背景 图像连通域标记算法是从一幅栅格图像(通常为二值图像)中,将互相邻接(4邻接或8邻接)的具有非背景值的像素集合提取出来,为不同的连通域填入数字标记,并且...

2586
来自专栏落花落雨不落叶

写了个学习正则的小工具

3336
来自专栏Crossin的编程教室

【每周一坑】生成九宫格图片

非常简单的功能,但在开发中很常见,很多网页/应用里缩略图都是对图片进行缩放+切割得到的。

1333
来自专栏新智元

【深度学习Github 10万+源代码分析】Python是第三受欢迎语言

【新智元导读】编程语言是软件开发的主要工具。自20世纪40年代以来,已经有数百种语言被发明出来,每天大量的各种语言编写的代码活跃着代码库。本文作者从 GitHu...

3638
来自专栏郭耀华‘s Blog

2018年奇虎360春招笔试题--玫瑰花

这道题,第一感觉想用排列组合做,但是想了好久,没想到解决办法(刚刚考试的时候没有答出来)。后来想了一下应该使用动态规划来做。 我们首先分析一下情况: 1.当K>...

2976
来自专栏北京马哥教育

搭建python机器学习环境以及一个机器学习例子

作者 | hzyido 来源 | 简书 糖豆贴心提醒,本文阅读时间6分钟,文末有秘密! 这篇文章介绍了Python机器学习环境的搭建,我用的机器学习开...

56912

扫码关注云+社区