scrapy爬虫实战-国外soybase网站跨页面抓取

一.项目结构

二.itemm主要定义我们要抓取的数据字段

三.主爬虫程序 跨页面的用callback进行回调下一层url,meta关键词传递数据带下层

四.pipelines.py 数据处理管道 建表 入库

五.settings.py设置 起用pipeline

六.调度爬虫 main.py

七.抓到的数据

七.爬虫学习方法

明确需求,需要抓什么页面的什么字段,从哪个入口的url开始抓取,进入下个页面是否需要传递上一层的数据,逻辑清晰以后再制定抓取策略,层层深入.

八.git代码下载

https://github.com/chengcxy/scrapy_spiders/tree/master/soybase

欢迎star,打赏~