腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

月小水长

专栏作者

138

文章

164026

阅读量

36

订阅数

微博爬虫出错居然还和网络运营商有关

网络安全爬虫 scrapy tcp/ip cdn

在几个月以前，这个问题的解决办法是因为登录的微博开启了双重登录验证，只需要在微博 app 或者 web 的设置、账号安全、关闭双重登录验证即可，但是近期这个解决办法也失效了，我调试程序发现，com 微博登录的充分必要条件是手机微博扫码登录，可以直接扫码登陆，输入账号密码和验证码之后，跳转的还是那个扫码登录界面，可以说是非常智障的设计了，这不是强迫人下一个微博 app 吗。（此处有看不见的脏话）

2020-09-01

9400

为什么你的话题爬虫 topic 文件夹总是空的

网络安全爬虫 github git scrapy

其实程序一运行起来，没有在控制台打印出每一页微博的具体信息，就可以断定你的操作方式出了问题，不必等上十几二十分钟。

2020-05-26

7680

微博爬虫重要更新：根据话题爬虫的结果批量化爬评论

scrapy python https php 网络安全

在公众号以前的一篇文章微博爬虫综述、错误汇总、Q&A 中，阐述了微博爬虫的不同目标站点之间的差异，并明确了我的微博爬虫的站点策略。

2020-05-26

1.1K0

微博话题爬虫更新：突破 50 页限制

scrapy gui python 网络安全爬虫

在上一次更新至今，又出现了不少了 bug，昨天趁着有空更新了代码，这次的更新主要做了三件事

2020-02-13

4.2K0

用户、话题、评论一网打尽，分享一个最强微博爬虫

爬虫 scrapy 文件存储 php xml

微博向来是一个极好的吃瓜圣地，为了获取微博上行行色色的数据，微博相关的爬虫也是层出不穷，因为无论是运营者还是数据分析从业者都或多或少需要微博数据，我的许多朋友也不例外，经过断断续续的努力，我完成了一个可能是史上最强大的微博爬虫的编写。

2019-10-14

3.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态