Scrapy 2.3.0 发布了。Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。
此版本主要更新亮点包括:
Feed 导出现在支持 Google Cloud Storage 作为存储后端
新的 FEED_EXPORT_BATCH_ITEM_COUNT 设置允许分批交付输出条目,最多不超过指定数量的条目
条目加载程序的基本实现已移至单独的库 itemloaders,从而允许从 Scrapy 外部使用,也具有单独的发布时间表
领取专属 10元无门槛券
私享最新 技术干货