开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >day133-scrapy基础&持久化存储（管道的使用）&手动发送请求

day133-scrapy基础&持久化存储（管道的使用）&手动发送请求

原创

少年包青菜

修改于 2020-05-09 17:27:45

4410

修改于 2020-05-09 17:27:45

举报

文章被收录于专栏：Python 学习

1.scrapy基础入门

1.1 修改协议

1.2 注意使用前设置 USER_AGENT

1.3 ./ .// 的定位使用

1.4 .extract_first() 和 .extract() 的区别

2.scrapy管道的使用（存储数据）

2.1编辑项目目录下的 items 文件

2.2在爬虫文件下导入这个类

2.3在项目目录下的 pipelines 文件下的管道类写进 settings

2.4在管道文件类里面写存储逻辑，`注意返回 item`

2.scrapy手动发送请求，`注意 yeild 结果`

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

1.scrapy基础入门
2.scrapy管道的使用（存储数据）
- 2.1编辑项目目录下的 items 文件
- 2.2在爬虫文件下导入这个类
- 2.3在项目目录下的 pipelines 文件下的管道类写进 settings
- 2.4在管道文件类里面写存储逻辑，注意返回 item
- 2.scrapy手动发送请求，注意 yeild 结果