scrapy实践之中间件的使用

欢迎关注”生信修炼手册”!

在scrapy框架中，Downloader Middlewares 称之为下载中间件， 可以对爬虫的requests请求进行封装处理，典型的应用有以下3种

1. 添加用户代理

所有的中间件代码都保存在middlewares.py文件中，通过自定义类的形式来创建一个中间件，代码如下

只需要重写process_request方法即可。

2. 添加IP代理

IP代理也是通用的实现方式，代码如下

3. 集成selenium

在scrapy中集成selenium， 可以进一步提高爬虫的处理范围，代码如下

定义好中间件之后，必须在settings.py中进行启动才可以，代码示例如下

通过中间件，我们可以对requests请求进行加工处理，方便的进行扩展，最后记得用在settings中启动中间件即可。

·end·

—如果喜欢，快分享给你的朋友们吧—

原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！

本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。