前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬虫系列:安装Scrapy框架的那些事

Python爬虫系列:安装Scrapy框架的那些事

作者头像
小Bob来啦
发布2021-02-12 13:51:26
4210
发布2021-02-12 13:51:26
举报
文章被收录于专栏:用户8057608的专栏

对每个人而言,真正的职责只有一个:找到自我…………所有其他的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是内心的恐惧。

-《德米安 彷徨少年时》

最近小编在学Python爬虫时遇到安装Scrapy框架时出错,具体原因是安装某个模块时报错。

报错复现:

在Pycharm的终端中输入pip install scrapy下载时出现的报错如上图。

查看错误时发现在安装Twisted模块时出现了问题,在百度各种搜索之后以及尝试后,发现更换国内镜像源并不好使,主要还是没解决。

最后小编是在下面的网站中直接下载的模块安装包

代码语言:javascript
复制
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

然后在网站中直接Ctrl+F查找找到Twisted这个模块,切记cp后面是根据你安装的Python版本下载的,比如Python3.8版本显示的就是38.

至于如何查看Python版本,打开cmd,输入Python即可:

在安装该模块之前,还需要将你的pip更新到最新的版本:更新命令如下:

代码语言:javascript
复制
pip:python -m pip install -U pip

将安装文件下载完成后,在cmd中输入:pip install 文件路径+文件名称,如下:

显示安装安装完成后,即可在cmd窗口中输入pip install scrapy

若最后还有报错,可尝试更换镜像源,小编是之后一次直接安装成功了。

在安装时添加镜像源的命令

代码语言:javascript
复制
pip inatll scrapy -i +镜像源网站

相关镜像源的网址:

Python爬虫系列,未完待续...

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-02-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序员Bob 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
命令行工具
腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档