按照崔大佬的书目录,最终是做成一个分布式的爬虫,用框架爬取所有的微博.So,我就按着步骤来,从代理池,cookies池,到最后的crapy框架....首先,分析一下微博四宫格验证码,它长下面这个样子哈.那么一共有4*6=24中验证码.一种方法是从图像处理的方式来做,但是有个问题
上面这个图里面,我姑且称为4->3->2->1形验证码.那么1->2->...如果要用有头的把注释取消,然后把上面那一行注释....(下面的代码是无头的初始化,如果要有头那前面操作然后下面的代码可以不用写):
def init_browser(self):
options = webdriver.ChromeOptions....DS_Store的必须要跳过它,不然会失败.Windows上没必要.
