首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【实战帖】使用Python分析社交网络数据

目录 数据抓取 一、直接抓取数据 二、模拟浏览器抓取数据 三、基于API接口抓取数据 数据预处理 可视化 数据分析 扩散深度 扩散速度 空间分布 节点属性 网络属性 传播属性 在线社交网站为人们提供了一个构建社会关系网络和互动的平台...以下,我们将从三个方面着手简要介绍使用Python进行数据抓取的问题:直接抓取数据、模拟登录抓取数据、基于API接口抓取数据。...结语 综上所述,本章简单勾勒了使用Python抓取、预处理、分析、可视化社交网络数据的过程。主要以案例为主,其中又以描绘新浪微博单条信息的扩散为主。...就涵盖的内容而言,限于篇幅,同样有一些内容没有被囊括进来,诸如网络的生成、网络社区的划分、信息扩散的模拟。...不可否认的是,读者不可能通过本章完全掌握Python的使用、数据的抓取和社交网络研究的分析方法。本书附录中总结了一些常用的资源和工具(软件、类库、书籍等)。

6.9K111
您找到你想要的搜索结果了吗?
是的
没有找到

社交网络分析(Social Network Analysis in Python)①

今天的网络是我们日常生活的一部分。 让我们学习如何使用网络Python中可视化和理解社交网络 网络无处不在,道路网络社交媒体上的朋友和关注者网络以及办公室同事网络。...分析这些网络并根据这些网络做出明智决策的能力是一项对任何数据分析师都很重要的技能。 介绍 首先让我们从社交网络的含义开始。 下面你会看到一个宝莱坞演员网络作为节点。...任何具有个人之间联系的网络,其中连接捕获它们之间的关系是社交网络。 分析这些网络可以让我们深入了解网络中的人,比如谁是真正的影响者,谁是最相关的,等等。...本教程中的代码是在Python = 3.5,NetworkX = 2.0版本上完成的。 对称网络 我们在上面创建的第一个演员网络是对称网络,因为“在电影中一起工作”的关系是对称关系。...聚类系数 据观察,在社交网络中共享联系的人倾向于形成关联。换句话说,社交网络中存在形成集群的趋势。

3.1K21

使用Python和SAS Viya分析社交网络

本示例使用Python和SAS分析了预防高危药物研究的结果。这个社交网络有194个节点和273个边,代表药物、使用者之间的联系。...我决定使用Python,因为它在年轻的数据科学家中很流行 。 出于演示目的,我使用一个名为Jupyter的接口,该接口是一个开放的,基于Web的交互式平台,能够运行Python代码以及嵌入标记文本。...社区检测 为了了解社交网络中用户的关系,我们将分析个人所属的社区。社区检测或聚类是将网络划分为社区,使社区子图中的链接比社区之间的链接更紧密地连接。...我们将获取的行重定向到Python变量中。我们将使用它来生成条形图,显示前5个最大的社区: ? 这表明最大的社区13具有35个顶点。以下示例显示社区4中的节点: ?...中心性分析 分析中心性有助于确定谁在网络中很重要。重要人物将被很好地联系起来,因此对网络中的其他个人具有很高的影响力。就我们针对社交网络而言,这将表明潜在的病毒传播和个人的相关风险行为。

1.4K20

社交网络邮箱分析

如果按照发件数或者收件数对各邮箱进行排序,都可以看到社交分析中常见的指数曲线 ? ? 令我比较惊讶的是,在对发送邮件数取对数以后,所得到的结果仍旧是一条指数曲线。如下图所示。 ?...邮箱之间的社交分析(SNA) 这一部分的分析就比较好玩了,首先使用PageRank算法来计算各个邮箱的重要性。 结果发现收发最频繁的两个邮箱重要性反而不怎么高 ?...对上述社交网络进行可视化表示,在使用ForceAtlas2展开以后,得到如下图所示 ? 其中节点表示邮箱,边代表邮箱间发送的邮件。...下方红线部分的邮箱大部分是媒体,包括网络媒体和传统媒体,以及一些LGBT网站,教师工会等等,主要由MirandaL联系。...所有分析用到的工具: python3.4 + networkx 库 gephi excel ? ? ?

1.2K40

Python人物社交网络分析—平凡的世界

上一期的推送,小F做了一些社交网络分析的前期工作。 传送门:Python数据可视化:平凡的世界 比如获取文本信息,人物信息。 最后生成一个人物出现频数词云图。 本次来完成剩下的工作。...实现《平凡的世界》的人物社交网络分析。 / 01 / 人物联系 人物社交网络分析是用来查看节点、连接边之间社会关系的一种分析方法。 节点是社交网络里的每个参与者,连接边则表示参与者之间的关系。...社交网络是一张地图,可以标示出所有与节点间相关的连接边。 社交网络也可以用来衡量每个参与者的“人脉”。 本次以《平凡的世界》为例,可视化其的人物关系。 两两人物关系有以下两种方式。.../ 02 / 社交网络 使用获取的数据包,通过networkx生成社交网络图。 详细代码如下。...获取联系大于4的数据,重新生成索引 df2 = df[df.weight > 0.025].reset_index(drop=True) plt.figure(figsize=(12, 12)) # 生成社交网络

1.6K10

使用Python爬取社交网络数据分析

数据抓取 一、直接抓取数据 二、模拟浏览器抓取数据 三、基于API接口抓取数据 数据预处理 可视化 数据分析 扩散深度 扩散速度 空间分布 节点属性 网络属性 传播属性 结语 在线社交网站为人们提供了一个构建社会关系网络和互动的平台...以下,我们将从三个方面着手简要介绍使用Python进行数据抓取的问题:直接抓取数据、模拟登录抓取数据、基于API接口抓取数据。...结语 综上所述,本章简单勾勒了使用Python抓取、预处理、分析、可视化社交网络数据的过程。主要以案例为主,其中又以描绘新浪微博单条信息的扩散为主。...就涵盖的内容而言,限于篇幅,同样有一些内容没有被囊括进来,诸如网络的生成、网络社区的划分、信息扩散的模拟。...不可否认的是,读者不可能通过本章完全掌握Python的使用、数据的抓取和社交网络研究的分析方法。本书附录中总结了一些常用的资源和工具(软件、类库、书籍等)。

5.2K92

Python网络爬虫之模拟登陆

为什么要模拟登陆? Python网络爬虫应用十分广泛,但是有些网页需要用户登陆后才能获取到信息,所以我们的爬虫需要模拟用户的登陆行为,在登陆以后保存登陆信息,以便浏览该页面下的其他页面。...保存用户信息 模拟登陆后有两种方法可以保存用户信息,通过Session来保存登陆信息或者通过Cookie来保存登陆信息 一、Session的用法 # 导入requests模块 import requests...urllib.request.HTTPCookieProcessor(cookie)) # 把opener配置为全局 当然也可以不配置全局通过opener来请求网页 urllib.request.install_opener(opener) 模拟登陆实践...我们以豆瓣网为例模拟用户登陆,然后爬取登陆后的用户界面 (1)找到请求表单 登陆一般是通过Post请求来实现的,其传递参数为一个表单,如果要成功登陆,我们需要查看该表单传递了哪些内容,然后构造表单做Post

54330

社交网络之图论实战

社交网络之图论实战 0.前言1.准备工作2.学习方法3.社交网络实战4.问题处理5.作者的话 0.前言 又到了新的一周,今天来学点新的知识,这节学的知识还是非常重要,那就是属于社交网络方向以及知识图谱方向以及我们研究生的一门课...本节将从我的学习方式到英文文档如何学习以及如何处理问题,以及如何去研究社交网络及图论等角度来分析! 下面一起来学习新知识吧,记得打开你的python哦,哈哈,就是一篇python实战篇!...1.准备工作 本节以python-igraph来学习社交网络与图论相关知识! 【两个网站】 那么我们一起来安装一下,这里引入两个网站。...3.社交网络实战 导包 from igraph import * 版本 igraph....(下面给出地址) http://igraph.org/python/doc/tutorial/install.html#installing-igraph

2.2K41

社交的进化(上)|需求演变与社交网络发展

从互联网诞生之起,社交产品就一直热情不减,越来越多的人加入社交产品这场持久战。本文不讨论 Clubhouse ,想尝试从发展的角度聊聊社交的进化。 ?...这其实就是社交的起源。在当时没有语言体系的互动与交互下,人类通过社交帮助自己更好的生存,此时人类对社交的需求也仅仅是满足最基本的物质和生存需求。 随着进化,人类逐渐“获得”智能。...所以我们可以知道,社交的演变是从人类之间的互动开始的,并且依托于彼此之间的社会关系,产生了基于物质的需求以及精神的需求。直到如今,随着移动网络时代的不断深化,人们产生了对社交的第三个需求:信息需求。...二、信息时代下网络社交与娱乐的发展 上文提到的人类对信息的需求是我们当下这个时代的产物。...小结 随着社会演变和网络发展。当下实时通信、音视频、算法推荐等技术已经走向成熟,5G手机正在普及,各大商场则正在以低廉的价格向消费者普及VR、AR体验。

1.5K10

社交网络斋戒实验报告

社交网络对我们产生了哪些影响?它让我们的生活更好了吗? 这就是本项研究的初衷—— 在拥抱社交的价值之后,我们想要重新审视社交网络使用对个体的影响。...但是,社交网络早已“干预”了人们的生活,我们很难对原始状态进行评估。 而“斋戒”就如同一种“反向干预”——撤离社交网络这一影响源,衡量撤离后的变化,以此反观社交网络的影响。...1.4简短的概述 综上,本研究关注社交网络对个体的影响,将以微信使用为研究对象,关注当下社交网络使用中的诸多问题,着重探讨社交网络对幸福感、疏离感、工作投入的影响。...另一方面,理论上我们拥有使用社交网络的自由,也拥有不使用社交网络的自由,但是事实却并非如此,人们常常感觉“被微信绑架”是因为社交网络从来不是单向的,如果仅自己不使用社交网络,而其他人依旧使用,为了与他人联络和沟通...9.3 斋戒的影响与社交网络的影响 本实验出发点是探讨社交网络使用的影响,由于社交网络早已“干预”了我们的生活,实验采取了反向干预(不使用)操作。

2.2K100

Google凭借Buzz进军社交网络

《纽约时报》网络版今日发表分析文章称,谷歌周二发布社交网络工具Google Buzz,望借此与Facebook、Twitter等社交网络行业巨头竞争。...以下是文章主要内容:   面对不计其数的社交网络服务而不知所措?谷歌愿意帮忙——再多给你一个“选择”。谷歌周二发布Google Buzz,用户又将多一个传递信息与想法的平台。   ...这意味着谷歌将充分利用其技术优势,过滤掉社交网络中的大量无用信息。   不过Google Buzz和其他社交网站看起来几乎无异。...分析认为谷歌这一举措不是要建立单独的社交网站,而是担当了社交网络产业的催化剂。Facebook、Twitter、LinkedIn和 MySpace无异是社交网络市场的领头羊,因而谷歌必须要独辟蹊径。

60840

文本挖掘:社交网络、社群划分

直接上例子比较直观,社交网络中的好友关系,你-我,我-他。...中心势的原理就是比较一个网络的边缘点以及中心点的中心度的情况, 如果一个网络很集中,那么势必是中心点,中心度高;而边缘点中心度低。 如果一个网络很稀疏,那么中心点、边缘点的中心度没有多少差异。...这边笔者么有看到太多的关于中心势的指标,在这从网络中找到了这两个:网络聚类系数、网络密度。...2、网络密度——graph.density 跟网路聚类系数差不多,也是用来形容网络的结构复杂程度。越大,说明网络越复杂,说明网络越能够放在一块。...3、网络密度——graph.density 跟网路聚类系数差不多,也是用来形容网络的结构复杂程度。越大,说明网络越复杂,说明网络越能够放在一块。

1.9K60

使用Python和SAS Viya分析社交网络|附代码数据

p=7303 原文出处:拓端数据部落公众号   最近我们被客户要求撰写关于社交网络的研究报告,包括一些图形和统计输出。 本示例使用Python和SAS分析了预防高危药物研究的结果。...这个社交网络有194个节点和273个边,分别代表药物使用者和这些使用者之间的联系。...社区检测 为了了解社交网络中用户的关系,我们将分析个人所属的社区。社区检测或聚类是将网络划分为社区,使社区子图中的链接比社区之间的链接更紧密地连接的过程。...---- 最受欢迎的见解 1.采用spss-modeler的web复杂网络对所有腧穴进行分析 2.用R语言和python进行社交网络中的社区检测 3.R语言文本挖掘NASA数据网络分析,tf-idf和主题建模...4.在R语言中使用航空公司复杂网络对疫情进行建模 5.python隶属关系图模型 基于模型的网络中密集重叠社区检测 6.使用Python和SAS Viya分析社交网络 7.关联网络分析:已迁离北京外来人口的数据画像

96400
领券