Facebook社交网络R语言分析

本文将基于facebook的好友关系数据,研究用户分布规律,并提供简单的好友推荐算法。

数据来源

KONECT1 http://konect.uni-koblenz.de/networks/facebook-wosn-links

数据原始格式

. txt文本格式,空格分隔
. 注释信息以%开头
. 每行一组数据,共四个字段
    第一字段:用户ID1
    第二字段:用户ID2
    第三字段:用途不明
    第四字段:好友关系建立时间,多数为0,数据缺失

% sym unweighted

% 817035 63731 63731

1 2 1 0

1 3 1 0

1 4 1 0

2 3 1 1183325626

2 7 1 0

2 9 1 1187651286

...

Note:好友信息以无向图的形式存储,不存在重复链接,保证第一字段用户ID始终小于第二字段用户ID;从实例数据中我们可以看到用户1和用户2是好友,但只存在于用户1的好友记录里,而不会在用户2的好友记录里重复出现

数据清洗

需要从原始数据中清除这些:

  1. 以%开头的注释行
  2. 不明用途的第三字段
  3. 数据缺失的第四字段
# 利用linux命令sed,awk完成数据清洗cat facebook-wosn-links.txt | sed '/%/d' | 
awk '{print $1" "$2}' > facebook-wosn-links-clean.txt

数据读入

利用R语言read.table函数以table格式存储数据

# R语言读入数据friends.whole <- read.table("Your File Address", 
header=FALSE, sep=" ", col.names=c("from","to"))

数据选取

数据中包含非常多的用户,数据间相互影响,为了使结果更清晰,我们选定某一用户,分析其好友的分布特点

library(igraph)# 将所有用户按照好友数量倒序排序sort(table(c(friends.whole$from, friends.whole$to)), dec=T)# 选定拥有合适好友数量的用户uid <- 979# 好友IDfriends.connected <- unique(c(friends.whole$to[friends.whole$from == uid], 
friends.whole$from[friends.whole$to == uid]))# 选取该用户所有好友friends.sample <- friends.whole[
((friends.whole$from %in% friends.connected) & 
(friends.whole$to %in% friends.connected)), c(1,2)]# 创建graph对象,并去除循环friends.graph <- graph.data.frame(d = friends.sample, 
directed = F, vertices = unique(c(friends.sample$from, 
friends.sample$to)))

friends.graph <- simplify(friends.graph)
is.simple(friends.graph)# 去除孤立的点,其实本例中并不存在孤立点,但作为标准化操作保留dg <- degree(friends.graph)
friends.graph <- induced.subgraph(friends.graph, 
which(dg > 0))

好友分布图

plot(friends.graph, layout = layout.fruchterman.reingold, 
vertex.size = 2.5, vertex.label = NA, edge.color = 
grey(0.5), edge.arrow.mode = "-")

接下来,我们希望将不同群体的好友用不同的颜色标明出来,提供类似于好友自动分组的功能;使用的是igraph包提供的walktrap.community函数2

friends.com = walktrap.community(friends.graph, steps=10)# 返回每个节点的分组结果V(friends.graph)$sg = friends.com$membership# 按照分组结果赋予节点不同的颜色V(friends.graph)$color = NA
V(friends.graph)$color = rainbow(max(V(friends.graph)$sg))[V(friends.graph)$sg]

plot(friends.graph, layout = layout.fruchterman.reingold, 
vertex.size = 5, vertex.color = V(friends.graph)$color, 
vertex.label = NA, edge.color = grey(0.5), edge.arrow.mode = "-")

在图中,有些用户是中间人的角色,连接了两个聚集,我们可以利用igraph包提供的betweenness函数找出他们

V(friends.graph)$btn = betweenness(friends.graph, directed = F)
plot(V(friends.graph)$btn, xlab="Vertex", ylab="Betweenness")

betweenness函数统计的是通过每个节点的最短路径的数量,该值越高,则表明该节点作为中间节点的作用越强

从图上看出,有3个节点的betweenness值明显高于其他节点,因此我们可以选取betweenness值500为阙值将这3个节点在图上标明出来

V(friends.graph)$size = 5V(friends.graph)[btn>=500]$size = 15V(friends.graph)$label = NA
V(friends.graph)[btn>=500]$label = V(friends.graph)[btn>=500]$name

plot(friends.graph, layout = layout.fruchterman.reingold, 
     vertex.size = V(friends.graph)$size, 
     vertex.color = V(friends.graph)$color, 
     vertex.label = V(friends.graph)$label, 
     edge.color = grey(0.5),
     edge.arrow.mode = "-")

最后,我们希望从二级好友3中找出一些用户来进行推荐,可以根据共同好友数量来选取

# 所有二级好友friends.2nd <- c(friends.whole$from[
(friends.whole$to %in% friends.connected)], 
friends.whole$to[
(friends.whole$from %in% friends.connected)])# 该用户本身也会被包含到二级好友中,需要剔除friends.2nd <- friends.2nd[friends.2nd!=uid]# 按共同好友的数量进行倒序排序friends.recommand <- sort(table(friends.2nd), dec = T)# 取出共同好友最多的10个用户来推荐friends.recommand <- friends.recommand[1:10]

> friends.recommand[1:10]
friends.2nd
用户ID      5050  5559  6896  5587  7659  6255 14521   554  5586  6062 共同好友数量   63    22    20    19    18    17    16    15    15    15

根据共同好友数量的推荐算法虽然较为简单,但只要网络本身包含较多的真实线下好友关系,推荐的结果还是非常有价值的。此外,还有许多推荐算法,如根据用户的属性(兴趣爱好,地理位置等)来做聚类推荐,我们将在以后的文章中进行探讨。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-12-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python中文社区

你真的了解网络爬虫吗?

Google 与 Yahoo 等网站的背后,都有一个强大的网页收集程序,可以将全世界的网页通通抓回去储存以便提供搜寻之用,这个程式就称为 "爬虫...

1949
来自专栏社区的朋友们

AfterEffect 从零开始 篇一 : 了解软件界面,掌握基础操作

这个系列会分享一些我在日常使用中有意思的小技能以及一些软件的基础使用,半个月一更。 AE零基础篇是为了让有 ps 基础的同学也能简单使用AE,除此之外也会分享一...

3550
来自专栏MixLab科技+设计实验室

以图搜图技术栈

先看个案例: ? 这是什么动画 https://whatanime.ga/ 一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画...

4288
来自专栏木头编程 - moTzxx

PHP QRCode 生成二维码

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

1034
来自专栏数据小魔方

think-cell chart 系列1——堆积柱形图!

今天正式开始跟大家分享之前介绍过的图表插件——think-cell chart 。 要讲的第一个图表类型是其自带图表库中的第一个图表——堆积柱形图。 在正式开始...

3865
来自专栏CSDN技术头条

介绍两款大数据清洗工具——DataWrangler、Google Refine

在进行数据分析和可视化之前,经常需要先“清洗”数据。这意味着什么?可能有些词条列表里是“New York City”,而其他人写成“New York,NY”。然...

3929
来自专栏晨星先生的自留地

大数据比赛的一个小心得

2405
来自专栏大数据挖掘DT机器学习

数据爬取、清洗到分析,如何徒手研究上海二手房房价

本文由作者:孙培培 原创投稿 声明:本文所公布代码及数据仅作学习用,若别有用途则后果自行承担。 提到上海,不得不提上海的高房价,最近一篇上海各市辖区均价的文章...

2916
来自专栏PPV课数据科学社区

【学习】网站数据分析:网站分析的基本度量

? 我们在使用各种网站分析工具的时候,会看到很多不同的度量指标,可能不同的工具会有不同的命名和定义,这里列举一些常见的度量,简单说明一下它们是如何计算得到的。...

3054
来自专栏腾讯移动品质中心TMQ的专栏

测试建模 :从尔康的鼻孔说开来,重要的用例写三遍

看完本文你会了解以下内容 1. 什么是SUT模型 2. 测试建模在工作中究竟是怎样一个过程 3. 从业务流程到测试用例我们忽略了什么 4. 测试建模会有哪些产出...

1785

扫码关注云+社区