前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >百家号爬取(1)

百家号爬取(1)

作者头像
Centy Zhao
发布2019-12-26 16:44:20
1.3K0
发布2019-12-26 16:44:20
举报
文章被收录于专栏:icecream小屋

我爬取的是https://author.baidu.com/home?type=profile&action=profile&mthfr=box_share&context=%7B%22from%22%3A%22ugc_share%22%2C%22app_id%22%3A%221572595784300706%22%7D

因为他是json数据找到该json页面

https://author.baidu.com/list?type=article&tab=2&uk=D0hHfmuMEVka02HZelKA7g&ctime=15479957581253&num=14&_=1548039936244&callback=jsonp2

进行页面分析,主要内容有:

https://author.baidu.com/list?type=article&tab=2&uk=D0hHfmuMEVka02HZelKA7g

默认为当前时间10个内容

若想更改可:

https://author.baidu.com/list?type=article&tab=2&uk=D0hHfmuMEVka02HZelKA7g&ctime=15479954554890&num=14

特定时间特定内容数 表示时间为15479954554890(时间戳)内容数14

如想获得之前所有数据可取最后一个发布的时间戳进行yield再次循环处理

同时近两天发布为相对时间,可对其发布时间的时间戳进行转换

此页面评论数,阅读数尚未抓取到,可看下一篇

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档