scrapy实践之中间件的使用
欢迎关注”生信修炼手册”!
在scrapy框架中，Downloader Middlewares 称之为下载中间件， 可以对爬虫的requests请求进行封装处理，典型的应用有以下3种
1. 添加用户代理
所有的中间件代码都保存在middlewares.py文件中，通过自定义类的形式来创建一个中间件，代码如下
from faker import Faker
class UserAgentMiddleware(object):
def process_request(self, request, spider):
f = Faker()
agent = f.chrome()
request.headers['User-Agent'] = agent只需要重写process_request方法即可。
2. 添加IP代理
IP代理也是通用的实现方式，代码如下
class ProxyMiddleware(object):
PROXIES = [
'https://36.249.118.13:9999',
'https://175.44.108.65:9999',
'http://117.69.12.82:9999']
def process_request(self, request, spider):
proxy = random.choice('PROXIES')
request.meta['proxy'] = proxy3. 集成selenium
在scrapy中集成selenium， 可以进一步提高爬虫的处理范围，代码如下
from selenium import webdriver
from scrapy.http import HtmlResponse
class SeleniumMiddleware(object):
def __init__(self):
options = webdriver.ChromeOptions()
options.add_argument('--headless')
self.driver = webdriver.Chrome(chrome_options=options, executable_path='C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe')
def __del__(self):
self.driver.close()
def process_request(self, request, spider):
self.driver.get(request.url)
return HtmlResponse(url=request.url, body=self.driver.page_source, request=request, encoding='utf-8',
status=200)定义好中间件之后，必须在settings.py中进行启动才可以，代码示例如下
DOWNLOADER_MIDDLEWARES = {
'hello_world.middlewares.UserAgentMiddleware': 543,
'hello_world.middlewares.SeleniumMiddleware': 600,
}通过中间件，我们可以对requests请求进行加工处理，方便的进行扩展，最后记得用在settings中启动中间件即可。
·end·
—如果喜欢，快分享给你的朋友们吧—
原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！
本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-11-16，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读