但是这种方法的实现方式还没有想出来,不知道该使用哪些技术栈来实现这个想法
想法二: 解决验证码
好,既然你弹出验证码,那我就解决它!...,所以你的cookies,ip,headers相关信息必须保持一致,我当时的想法是使用requests的session来完成这一步操作,但是很难完全模拟,因为整个爬虫使用scrapy来写,处理验证码使用...附上一些为session添加信息的代码
def __init__(self, my_cookie, proxy, headers):
self.session = requests.session...self.session.headers.update({'User-Agent': headers})
self.session.update(proxy)
想法三: 不解决验证问题,无脑重试
这是最蠢的办法,也是我目前在使用的方法.../(ㄒoㄒ)/~~
思路是: 将cookies保存到mongoDB做持久化,再写一个脚本,持续的向redis中添加cookies和start_urls,然后对这些start_urls不停地重试,对,就是不停地重试