python scrapy

xpath / // //a/@href 返回属性 //a/text() 返回文本 //div/* 返回所有元素 //a[@href]包含href的a //a[@href='xx'] //a[contains(@href,'xxx')] 模糊搜索 //a[not(contains(@href,'abc'))]

response.xpath('/html').extract() pagesource google浏览器中右击：copy xpath =//h1[@id='xxx']/span/text()

image.png

//*[@id='username']//text()

书中源码：https://github.com/scallingexcellence/scrapybook.git example: scrapy startproject properties cd properties vi items.py

image.png

scrapy genspider basic web #利用basic模板生成爬虫,限制在web

scrapy genspider -l 查看所有模板

以上语句生成的模板

image.png

更改basic.py

image.png

image.png

开始运行爬虫:scrapy crawl basic

修改item.py，用propertieitem替换

image.png

结果保持到文件

image.png

使用ItemLoader parse

image.png

ItemLoader中的用法

image.png

image.png

协议@，爬虫中的单元测试，运行：scrapy check basic

image.png

2 example:

image.png

image.png

多个URL：

image.png

水平和垂直爬取：

image.png

scrapy crawl manual -s CLOSESPIDER_TIMECOUNT=90 90秒后退出

3 exapmle

水平和垂直爬虫类crawl

image.png

image.png

爬虫，登陆，from_response?

image.png

image.png

4 example: login ??

parse_item用selector做源头，提升性能

image.png

5 example：https://www.jianshu.com/p/9f7540614b26

配置

scrapy settings --get CONCURRENT_REQUESTS scrapy settings -s CONCURRENT_REQUESTS=6 DOWNLOADS_DELAY CONCURRENT_ITEMS 每次请求并发数的最大文件数 DNSCACHE_ENABLED

image.png

HTTPCACHE_ENABLED 离线抓取 ROBOTSTXT_OBEY 是否参考robots.txt COOKIES_ENABLED IMAGES_STORE FILES_STORE FILES_EXPIRES REDIRECT_PRIORITY REDIRECT_MAX_TIMES

下载图片的配置

image.png

架构

image.png

加日期处理Pipeline

image.png

image.png

信号？？

一个可以测量吞吐量和延迟的扩展

pip install trep

6 example:一个写入elasticsearch的pipline 7 example:pipeline使用google geocoding api来进行地理编码 8 example:pipeline 写入mysql 9 example:pipeline 写入redis 10 exapmle:pipeline进行CPU密集型和阻塞操作 computation.py @defer.inlineCallbacks??????? 11 example:调用sh

image.png

image.png

image.png

12 example:scrapyd