Python数据分析之简书粉丝敌我差距爬虫分析及代码敌我差距

最近粉丝涨的飞快,已突破3500大关,虽然比起大咖来说,是微乎其微,但看过我简书风云榜的都知道,3500粉丝也能排上前200名(虽然只爬取了20多万的数据)。 但随着粉丝的增长,也担心粉丝的质量问题,我发现许多粉丝都是没有发表任何文字的,我把这些用户定义为非活跃用户(这样太过偏激),今天就已作者本人的粉丝和向右奔跑前辈的粉丝做比较,看下敌我差距~

爬虫分析及代码

简书的原因,这里只能爬取粉丝的前100页,一页就是9个粉丝,总共只能爬取900个粉丝,爬取的字段也是很简单:

  • 粉丝id
  • 关注量
  • 粉丝量
  • 文章数(这里我把没写过文章的定义为非活跃用户)
import requests
from lxml import etree
import pymongo

client = pymongo.MongoClient('localhost', 27017)
jianshu = client['jianshu']
luopan = jianshu['luopan']
xiangyou = jianshu['xiangyou']

urls = ['http://www.jianshu.com/users/54b5900965ea/followers?page={}'.format(str(i)) for i in range(1,101)]
for url in urls:
    html = requests.get(url)
    selector = etree.HTML(html.text)
    infos = selector.xpath('//ul[@class="user-list"]/li')
    if len(infos) > 0:
        for info in infos:
            id = info.xpath('div/a/text()')[0]
            topic = info.xpath('div/div[1]/span[1]/text()')[0].strip('关注 ')
            fans = info.xpath('div/div[1]/span[2]/text()')[0].strip('粉丝 ')
            article = info.xpath('div/div[1]/span[3]/text()')[0].strip('文章 ')
            content = {
                'id':id,
                'topic':topic,
                'fans':fans,
                'article':article
            }
            # print(id,topic,fans,article)
            xiangyou.insert_one(content)
    else:
        break

敌我差距

此部分通过python数据分析及pyecharts库可视化。

  • 首先看看粉丝的质量:

向右奔跑前辈的粉丝质量明显比我高很多,也会和一些大咖互粉,什么时候大咖也和我互粉呢~由于只能爬取前900个粉丝,差异会扩大很多倍。

  • 看看活跃粉丝差异

这个差距不是很大,这也是简书一直来的问题,大量用户都是不写文章的,简书就是让我们简单的书写我们的人生,大家也可以多写写文章啦,无论是学习,生活,工作,总有你的精彩~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏守望轩

不要用虚假地址玩坏附近小程序

微信小程序的能力越来越强,毫无疑问,它已经成为创业者最好的创业平台之一,在2017年5月就推出的“附近小程序”算是重量级别的功能,微信用户通过打开附近的小程序可...

3526
来自专栏大数据文摘

微信官方数据披露:什么样的文章更受欢迎

1455
来自专栏罗超频道

自媒体后台哪家强?最好不过一键分发

前几天在科技媒体记者群“山寨发布会”看到有道云笔记在宣传其刚上线的“语音速记”功能,受到群里记者小伙伴的欢迎。有人说再也不需要录音笔了,有人说以后再也不用在现场...

3537
来自专栏云加新鲜事儿

腾讯云原创分享计划常见问题

A:「腾讯云原创分享计划」是腾讯云+社区为引入更多优质原创内容,打造技术影响力而推出的原创激励计划。只要你有原创优质技术内容,就可以申请加入该计划。

56717
来自专栏BestSDK

小程序对于微信来说,不只是一个工具

在功能层面,小程序,对微信意味着:工具属性的大大增强。 在“小程序”的微信公开课上,张小龙特意用一大段话来阐明,微信是个工具,微信一直是个工具,微信的产品思路也...

3197
来自专栏知晓程序

微信放大招!再也不用担心员工离职流失企业资源了

751
来自专栏Java技术栈

微博什么技术啊……还说支持八个明星并发出轨,结果…

为什么我头脑一瞬间出现的是张靓颖,作为一个码农,技术宅,拼音缩小都是 ZLY,博主我真有点傻傻分不清楚了。。

1295
来自专栏安恒信息

企业平均每年遭遇9起有针对性攻击

高级持续性攻击( APT )可能比想象的更普遍:最新研究发现,在过去12个月中,企业平均遭遇9起这种有针对性的攻击。根据一份名为“高级持续性攻击的现状”的报告显...

3125
来自专栏腾讯大讲堂的专栏

微信官方数据披露:哪些文章更受朋友圈欢迎

拥有4.68亿月活跃用户的微信,早已成为国内媒体和自媒体信息传播的重点社交渠道之一。但你知道用户喜欢在微信上阅读哪些文章,又喜欢如何阅读吗?今天为你揭开几个关键...

1848
来自专栏FreeBuf

雅虎又泄露3200万账户数据,这次是因为「cookie伪造」攻击

前科技巨头雅虎近期公布的消息显示:在过去两年间,有入侵者进行“cookie伪造”攻击,造成3200万账户泄露。 特别要说明的是,此次泄露事件是独立存在的,和前几...

1885

扫码关注云+社区