python爬虫scrapy（持续更新）

安装

pip install scrapy scrapy startproject stock//创建文件夹 scrapy genspider stock xxxxx(域名) //创建爬虫py文件 scrapy crawl stock -o xxx.json// spider中必须包含stock.py文件 scrapy crawl stock//运行 scrapy -h //查看scrapy命令，包含调试窗口

爬虫，全文检索查询关键字

项目结构

scrapy.cfg: 项目的配置文件 stock/: 该项目的python模块。在此放入代码（核心） stock/items.py: 项目中的item文件，建立一个对象，scrapy.Field(serializer=str)创建对象成员 stock/pipelines.py: 项目中的pipelines文件.，每一个爬虫爬取后存储的item对象都会在piplines中调用 stock/settings.py: 项目的设置文件,scrapy中间件激活，需要配置setting.py文件，# Enable or disable downloader middlewares stock/spiders/: 放置spider代码的目录. （放爬虫的地方） ，scrapy list 可以查看爬虫文件 参考：https://www.cnblogs.com/dcpeng/p/12436451.html