爬取简书26万+用户信息：数据可视化

一、前言

简书上有哪些优质用户？有多少大V粉丝数上万，获赞数上万？小透明的自己能排到多少位？大V之间相互关注情况如何？签约作者有多少人......

我想要了解这些问题，于是便有了本文。

二、爬虫思路

以《简书=鸡汤？爬取今日看点数据：1916篇简书热门文章可视化》项目里获取的，贡献了1916篇热门文章的共计799名用户的ID，作为种子ID，爬取各自关注列表里的用户信息，再爬取关注者的关注者，如此几层下去，便能获取到几十万乃至上百万条用户信息及彼此的关注情况。

由于简书官方对数据有所保护和限制，仅能获取单个用户的900名关注者（粉丝亦然）。对于关注数小于900的自然能全部获取；而大于900的就只有不完整的数据。

在通过2-3层数据爬取后，共获得261277条用户信息，具体数据有：用户名、主页url、是否为签约作者、粉丝数、获赞数、关注数、文章数、总字数等等：

三、数据可视化

1、获取的ID分布情况

爬取799个种子ID（记为第0层，图中由于数量级偏小，所以看不到出来柱形图的图案）各自的关注者，得到第1层47601条总ID数据（含重复ID），新增19526个净ID；再根据第1层新增的净ID，爬取其关注者，得到第2层1239366（约124w+）条总ID数据，新增189921个净ID；再根据第2层新增的净ID，爬取了部分ID的关注者，得到第3层391762条总ID数据，新增53677个净ID。

由于时间限制，没有再继续爬取下去，仅获取了上述共261277条数据。由上图可知，虽然一层层的爬取关注者，总ID数在第2层便突破了百万级别，但新增的用户ID增长并没有那么快，这说明被关注的用户重复出现，他/她们获得了广泛的关注，因而可以视为较优质的用户。

2、26w+简书用户粉丝情况

2.1 金字塔图

有了26万多条数据后，先来看看这些用户各自都有多少粉丝，借此来看看每一个人大概的排名是多少。

绘制成金字塔图后可知，这26w+用户里：粉丝数大于10w+的有5人，依次为：@刘淼、@简黛玉、@彭小六、@简书播客、@江昭和，均是万中挑一的人物；其他各梯度人数看图即可，不再赘述。值得一提的是粉丝数10-100区间的人数占比最大，为40.38%，而非0粉或1粉的用户，这进一步说明了本次本次爬取的数据较为优质。与《爬取张佳玮138w+知乎关注者：数据可视化》一文中张佳玮138w+知乎关注者中0粉占比29.18%，1-10粉占比55.49%，两者相加用户数已超过116w+，两相对比，更能说明上述问题：

另外这26w+用户里0粉的有784人，论理本次爬取时能被爬取到的都起码有一个粉丝，要不然不符合上述爬取的思路，但这里却发现不仅有0粉的，甚至有十来个用户粉丝数为负数，不知道是不是简书的BUG，去他们的主页查看，发现确实显示的是负数，但是又明明有粉丝？？？

2.2 瀑布图

知道了各个梯度（区间）用户的数量和占比，自然也就能知道每个人的大致排名。以我自身为例，粉丝数480人，排名4140，为前1.6%。还有很大的努力空间。再将所有用户粉丝分布情况绘制成瀑布图，更能给所有奋笔疾书、努力写作和输出的人不断涨粉后跃迁、上升的直观感觉。

3、TOP 10系列

接下来再看看各种TOP 10的榜单：

3.1 粉丝数前十

全部用户平均粉丝数为79人。全靠下面的大V带飞。

1、刘淼：178262；2、简黛玉：177047；

3、彭小六：139994；4、简书播客：138836；

5、江昭和：133940；6、简叔：89629；

7、韩大爷的杂货铺：88845；8、Sir电影：88840；

9、饱醉豚：86540；10、我带爸爸看世界：77153；

3.2 获赞数前十

全部用户平均获赞数为102个。大V天天见。

1、彭小六：222734；2、韩大爷的杂货铺：131250；

3、简黛玉：124723；4、Sir电影：83485；

5、衷曲无闻：81205；6、怀左同学：80567；

7、剽悍一只猫：79558；8、安梳颜：74808；

9、顾一宸：69015；10、陶瓷兔子：66527；

3.3 关注数前十

活捉十只关注狂魔！全部用户平均关注数为25人。拖后腿系列

1、临川人：12878；2、桐子树下：10624；

3、阿立斯本：7807；4、陈三白：6651；

5、WEFG_jakerfenG：6174；6、欣悦生化：6168；

7、Athena79：5434；8、曾培然：5107；

9、有领uullnn：5086；10、MasterKang：5035；

3.4 文章数前十

所有用户平均文章数为14篇。刚好达标。

1、絕塵：2150；2、幸运的贝壳：1834；

3、孤鸟差鱼：1731；4、淡定之龍的傳人：1587；

5、Sir电影：1582；6、郭相麟：1455；

7、鸭梨山大哎：1364；8、炫彬：1360；

9、葡萄喃喃呓语：1354；10、军旗猎猎：1330；

3.5 总字数前十

所有用户平均总字数为16750。emmmmmm.

1、爱可可_爱生活：5953371；2、絕塵：4357012；

3、Sir电影：3948118；4、王邑尘：3566126；

5、Sting：3412810；6、诗之源：3337821；

7、优雅爱敌：2716884；8、柳志儒：2512482；

9、掘金官方：2483024；10、军旗猎猎：2429342；

3.6 获赞数/文章数前十

1、一棵花白：7517.5；2、冰冷钻戒：4650；

3、Gosmy：3917；4、该号已废：3751；

5、二十初仲夏的树：3616.85；6、米洛在波士顿：3483；

7、Gibson：2973；8、Mr楠先生：2540；

9、南调北征：2419；10、她好酷的：2391；

4、126名签约作者

很多人都以成为签约作者作为自己写作努力的方向，那么简书到底有多少名签约作者呢？在这26w+较优质用户里，共有126人的主页上明确地挂有“签约作者”的标签。为什么这么说呢，是签约作者就是，不是就不是，难道主页上没有标签的用户也可能是“签约作者”不成？！

这个好像还真的有可能。具体有待探究。后续会继续研究下“签约作者”这个群体。目前已经另外爬取@签约作者文章合集专题里的3141篇文章，发现该专题里签约作者依旧小于150人，其中不少人目前主页上并没有显示标签。去掉和上面126名重复的用户后也不到200人，因此推测简书总共的签约作者不到200人，虽然根据爬取的数据显示，很多人的粉丝数、喜欢数、文章数等都已经符合申请要求了。

四、小结

1、后续会继续研究下“签约作者”这一群体；

2、学习下用D3.js怎么绘制大V们相互关注的情况；

3、同样的会用《爬取张佳玮138w+知乎关注者：数据可视化》中获取的较优质的用户ID作为种子ID，用本文相同的爬取思路，去获取更多知乎大V的数据。