简书非官方大数据新思路专题URL专题管理员URL粉丝和关注URL优点和缺点

爬虫小分队的终极大任务就是简书大数据,以前也做过一次,阅读量也还可以。前段时间简书也是融资成功,简书也有一些改动,这次做分析也是一个不错的机会。

专题URL

这部分是没有变得,因为简书没有用户管理的url,我们只能从专题URL入手,依旧是热门和城市。

专题管理员URL

这部分就是新的思路,之前是爬取专题文章的作者,然后爬取作者的粉丝,这部分做完爬取对象。这次是先爬取专题管理员URL作为第一层用户,这部分是异步加载的,还有就是首页的和其他的专题在异步加载的url有所不同(这个大家找包的时候就知道了)。

粉丝和关注URL

我们可以这样想,基本上管理员的粉丝都会很多,这部分大多像我们一样,吃瓜群众;还有同行间的话,就是关注用户,这样双向传递,可以爬取大部分用户(还是有一些用户爬不到)。

优点和缺点

这种方法比爬取文章会快很多,重复的数据也会少很多(因为用户会投多篇文章)。缺点就是可能数据会不全。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DevOps时代的专栏

如何落地全球最大 Kubernetes 生产集群

JDOS 就是京东数据中心操作系统,随着数据中心规模不断的扩大,我们需要对数据中心做综合的考虑。所以一开始就先说数据中心的层面,大家知道数据中心里面有服务器、网...

962
来自专栏IT大咖说

听说华为云的k8s容器实例服务与业界其他的区别很大?

内容来源:2018 年 07 月 22 日,华为云kubernetes开源负责人王泽锋在“才遇见你|kubernetes meetup彩蛋版——聊聊开源落地的那...

803
来自专栏互联网高可用架构

通用架构师应该如何把控迁移技术方案【完整版】

1516
来自专栏架构师之路

58到家MQ如何快速实现流量削峰填谷

问:为什么会有本文? 答:上一篇文章《到底什么时候该使用MQ?》引起了广泛的讨论,有朋友回复说,MQ的还有一个典型应用场景是缓冲流量,削峰填谷,本文将简单介绍下...

3975
来自专栏Java技术

为什么说程序员到了不得不掌握RPC的时候了!

随着企业 IT 服务的不断发展,单台服务器逐渐无法承受用户日益增长的请求压力时,就需要多台服务器联合起来构成「服务集群」共同对外提供服务。同时业务服务会随着产品...

982
来自专栏IT大咖说

Metrics:让微服务运行更透明

摘要 让微服务运行状态清晰可见。 Metrics是什么 直译是“度量”,不同的领域定义有所区别,在微服务领域中的定义: “对微服务的某个指标给予一个可量化程度的...

37812
来自专栏云计算D1net

桌面云管理技术介绍

在云计算时代,桌面云作为最容易落地的云计算方案,已经在各行各业普遍应用。在桌面云表现出高安全、集中管理、移动化等优势的同时,系统复杂的管理问题、资源难以有效利用...

3174
来自专栏码洞

深入理解RPC——RPC在企业服务中的核心价值

随着企业 IT 服务的不断发展,单台服务器逐渐无法承受用户日益增长的请求压力时,就需要多台服务器联合起来构成「服务集群」共同对外提供服务。同时业务服务会随着产品...

581
来自专栏SDNLAB

如何选择最佳软件定义存储(SDS)解决方案

从目前到2025年,全球软件定义存储(SDS)市场的年复合增长率预计将超过29%。超大规模数据的出现以及基于云计算的基础设施和虚拟化技术的应用增长对存储容量提出...

3375
来自专栏知晓程序

收藏级!小程序 10 大最强推广攻略,助你获取微信亿级流量 | 晓运营

982

扫码关注云+社区