简书非官方大数据新思路专题URL专题管理员URL粉丝和关注URL优点和缺点

爬虫小分队的终极大任务就是简书大数据,以前也做过一次,阅读量也还可以。前段时间简书也是融资成功,简书也有一些改动,这次做分析也是一个不错的机会。

专题URL

这部分是没有变得,因为简书没有用户管理的url,我们只能从专题URL入手,依旧是热门和城市。

专题管理员URL

这部分就是新的思路,之前是爬取专题文章的作者,然后爬取作者的粉丝,这部分做完爬取对象。这次是先爬取专题管理员URL作为第一层用户,这部分是异步加载的,还有就是首页的和其他的专题在异步加载的url有所不同(这个大家找包的时候就知道了)。

粉丝和关注URL

我们可以这样想,基本上管理员的粉丝都会很多,这部分大多像我们一样,吃瓜群众;还有同行间的话,就是关注用户,这样双向传递,可以爬取大部分用户(还是有一些用户爬不到)。

优点和缺点

这种方法比爬取文章会快很多,重复的数据也会少很多(因为用户会投多篇文章)。缺点就是可能数据会不全。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3155
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4035
来自专栏java 成神之路

使用 NIO 实现 echo 服务器

4667
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

4868
来自专栏张善友的专栏

Miguel de Icaza 细说 Mix 07大会上的Silverlight和DLR

Mono之父Miguel de Icaza 详细报道微软Mix 07大会上的Silverlight和DLR ,上面还谈到了Mono and Silverligh...

2717
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

2978
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

2070
来自专栏闻道于事

js登录滑动验证,不滑动无法登陆

js的判断这里是根据滑块的位置进行判断,应该是用一个flag判断 <%@ page language="java" contentType="text/html...

6878
来自专栏跟着阿笨一起玩NET

c#实现打印功能

2792
来自专栏杨龙飞前端

scrollto 到指定位置

2514

扫码关注云+社区