腾讯云
备案
控制台
开发者社区
学习
实践
活动
专区
工具
TVP
文章/答案/技术大牛
搜索
搜索
关闭
写文章
提问
登录/注册
彻底搞懂Scrapy的中间件
精彩点评
清单文章
3
加入清单架
清单首页
彻底搞懂Scrapy的中间件
彻底搞懂Scrapy的中间件
3 篇
青南
·网易游戏高级数据挖掘工程师
创建
中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据,做一些修改再把数据传递出去。不同点在于,中间件是开发者主动加进去的组件,而中间人是被动的,一般是恶意地加进去的环节。中间件主要用来辅助开发,而中间人却多被用来进行数据的窃取、伪造甚至攻击。
0.0
34人在读
举报
精彩点评
清单文章
3
精彩点评
轻点为此清单评分
0
提交
暂无点评,欢迎发表观点
清单文章
1
彻底搞懂Scrapy的中间件(三)
2
彻底搞懂Scrapy的中间件(二)
3
彻底搞懂Scrapy的中间件(一)
共 3 篇
加入清单架
分享清单
前往「云+精选」小程序
获得最佳阅读体验
扫描二维码
扫码关注腾讯云开发者
领取腾讯云代金券