前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >可按关键词和时间段搜索,微博用户爬虫上新

可按关键词和时间段搜索,微博用户爬虫上新

作者头像
月小水长
发布2022-09-03 09:37:24
7580
发布2022-09-03 09:37:24
举报
文章被收录于专栏:月小水长月小水长

这是 月小水长 的第 133 篇原创干货

抓取一个用户发布的微博可能会有这样一个需求,只需要特定时间段内的这个用户发布的微博,或者只需要包含指定关键词的微博,又或者是指定时间段内同时包含指定关键词的微博。这可能很简单,直接把全部的微博抓下来再本地处理过滤不就可以吗。

但是,一个微博用户可能发布了十多万条微博,但是我们需要的目标微博只要十多条,在不考虑全部抓下来的难度的前提下,10 之于 100000,得做多少无用功。

有痛点就要解决,于是乎,微博超级用户自助抓取网站上线了。

可以按照关键词、时间线筛选微博,并抓取保存

抓取保存的 csv 包含十余字段,主要有微博 id、微博链接、图片链接、微博内容、发布工具、转评赞数量等字段。抓取结束后会出现下载 csv 的按钮。

网站全量开启 https 安全访问,地址为:

代码语言:javascript
复制
https://weibo-super-user-spider.buyixiao.xyz/

网站对所有人开放,但执行抓取需要密钥,密钥获取地址

代码语言:javascript
复制
https://afdian.net/p/4c1ad92aeaf311ec971752540025c377

为了服务器和网站的持续稳健运行,密钥设置为付费获取,本爬虫的密钥和 中断可继续,10w+,无 cookie 微博评论抓取网站上线 中的密钥是一样的,上次获取过的的同学可以直接获取使用,一旦泄露随时可能更新。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-07-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 月小水长 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 这是 月小水长 的第 133 篇原创干货
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档