前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

作者头像
全栈程序员站长
发布2022-11-09 17:01:23
6850
发布2022-11-09 17:01:23
举报

大家好,又见面了,我是你们的朋友全栈君。

1.安装scrapy

代码语言:javascript
复制
修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

补充:

更新安装 pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令 pip install –user scrapy

2.检验scrapy是否安装成功

代码语言:javascript
复制
scrapy
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

3.创建scrapy项目

代码语言:javascript
复制
scrapy startproject spider0609
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

代码语言:javascript
复制
scrapy genspider douban movie.douban.com
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell 第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。 第三步:执行:set-ExecutionPolicy RemoteSigned 第四步:选择Y,回车

搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

再次打开terminal即可解决

搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]
搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年9月25日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档