爬虫之scrapy框架（一）

windows/mac/linux:pip3 install scrapy
#windows优先采用上面的方式进行安装，如果报错再采用下面的方式
windwos:
    -pip3 install scrapy(大部分同学直接是可以的)
    -如果上面不行
        -pip3 install wheel   （xxx.whl文件安装模块）
      -下载pywin32：两种方式：1 pip3 install pywin32    2 下一个exe安装https://sourceforge.net/projects/pywin32/files/pywin32/
      -下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted   下载完是一个xxx.whl文件
    -执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl

#1 查看帮助
    scrapy -h
    scrapy <command> -h

#2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要
    Global commands:
        startproject #创建项目
        genspider    #创建爬虫程序
        settings     #如果是在项目目录下，则得到的是该项目的配置
        runspider    #运行一个独立的python文件，不必创建项目
        shell        #scrapy shell url地址  在交互式调试，如选择器规则正确与否
        fetch        #独立于程单纯地爬取一个页面，可以拿到请求头
        view         #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
        version      #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本
    Project-only commands:
        crawl        #运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False
        check        #检测项目中有无语法错误
        list         #列出项目中所包含的爬虫名
        edit         #编辑器，一般不用
        parse        #scrapy parse url地址 --callback 回调函数  #以此可以验证我们的回调函数是否正确
        bench        #scrapy bentch压力测试

# 通过命令创建项目，到指定的文件夹下
# 创建项目（django中创建项目）
scrapy startproject 项目名字
# 创建爬虫（django中创建app）在spiders文件夹下创建一个py文件，一个py文件就是一个爬虫（不要注册，没有注册一说）
scrapy genspider 爬虫名字 爬取的地址
scrapy genspider chouti dig.chouti.com
# 打开项目，pycharm打开

# 运行爬虫  命令行下
scrapy crawl 爬虫名字 
scrapy crawl 爬虫名字 --nolog  # 不打印日志
# 运行爬虫  py文件
在项目目录下创建一个py文件，假设叫main.py,点击右键执行即可执行爬虫，等同于命令
from scrapy.cmdline import execute
execute(['scrapy','crawl','chouti'])

-scarpyfirst 项目名
    -scrapy.cfg 上线相关的
  -scrapyfirst 文件夹
    -spiders文件夹     ：所有的爬虫写在这里面
        -chouti.py          ：一个py文件就是一个爬虫（类似于django的app）
    -items.py         ：配合管道，做数据存储（类似于django中models.py 写一个个的模型类）
    -middlewares.py   :中间件（爬虫中间件，下载中间件都写在这里面）
    -pipelines.py       ：管道，持久化相关，数据存储卸载这
    -settings.py            ：配置文件相关

#配置文件全是大写
ROBOTSTXT_OBEY = True  #是否遵循爬虫协议，如果是true，基本上网站都爬不了，遵循要爬取网站的爬虫协议，一般设置成false
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
LOG_LEVEL='ERROR'   # 只打印错误信息

css选择
    response.css('标签').extract()    #取所有标签
    response.css('标签').extract_first()#获取一个标签 用的比较多
    response.css('标签::attr(属性)').extract_first()  #选取标签的属性
    response.css('标签::text').extract_first()#选取标签内的文本
    response.css('a::attr(href)').extract_first()
    response.css('p::text').extract_first()

response.xpath('').extract_first() #获取一个标签 用的比较多
response.xpath('./div/div/div[1]/a/text()').extract_first()#获取标签内文本
response.xpath('./@属性').extract_first()#获取标签内属性

class ChoutiPipeline(object):

    def open_spider(self,spider):
        print('我开了')
        self.f=open('a.txt','w')
        
    def process_item(self, item, spider):
        self.f.write(item['desc'] + item['img_url'])
        self.f.write('\n')
        return item
    
    def close_spider(self,spider):
        self.f.close()
        print("我关了")

import pymysql
# 存文件
class ChoutiMysqlPipeline(object):
    def open_spider(self, spider):
        # autocommit=True 表示自动提交
        self.conn=pymysql.connect(host='127.0.0.1', user='root',
                                  password="123",database='chouti', port=3306)

    def process_item(self, item, spider):
        cursor=self.conn.cursor()
        sql="insert into article (`desc`,img_url) values ('%s','%s')"%(item['desc'],item['img_url'])
        cursor.execute(sql)   
        self.conn.commit()#不要忘了提交

    def close_spider(self, spider):
        self.conn.close()

ITEM_PIPELINES = {
   'scrapyfirst.pipelines.ChoutiPipeline': 300,
   'scrapyfirst.pipelines.ChoutiMysqlPipeline': 302,
}