首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >高级爬虫(一):Scrapy爬虫框架的安装

高级爬虫(一):Scrapy爬虫框架的安装

作者头像
龙哥
发布2018-10-22 14:11:26
4590
发布2018-10-22 14:11:26
举报
文章被收录于专栏:Python绿色通道Python绿色通道

Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方!

最近会连载Scrapy由浅入深讲解.欢迎关注,持续连载!

  1. 介绍Scrapy,以及安装Scrapy
  2. Scrapy初级使用
  3. Scrapy 高级使用
  4. Scrapy 爬虫实战

为什么要学习Scrapy

Scrapy是一个爬虫框架,通过这个爬虫框架,我们能很快的构建出一个强大的爬虫工具! 一般大型爬虫服务都会使用Scrapy 进行爬虫,我们甚至在这个框架基础上进行一些修改,来定制自己的爬虫框架!

Scrapy学前准备

  • 前期的基础,Python基础
  • Python抓取数据的三种方式:Re, Xpath,Bs4
  • 保存数据:数据库,本地

安装Scrapy

首先说明一下,这个网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 需要的一些资源都已经无效了,这也导致网上大部分安装Scrapy的方法都失效了

接下来说一下我是怎么安装的:

win环境安装,这里我是用 Python 3.6.4 32位版本 这个一定要注意对应版本,防止出错

  1. 安装pywin32 ,安装地址:http://sourceforge.net/projects/pywin32/ 选择File 然后查找你对应的python版本 win32环境. 这里一定要注意你的python版本.安装成功后,在Python命令行下输入 import win32com 如果报错则说明安装成功.
  2. 安装pyOpenSSL :pip install pyOpenSSL
  3. 安装lxml:使用pip install lxml
  4. 安装Scrapy : 使用pip install Scrapy

重来来了

我是在安装第四步的时候出现了Twisted安装失败,提示需要VS C++ 14 ,miscrosoft build tool 打开这个网站下载vs 2017 生成工具.

https://www.visualstudio.com/zh-hans/downloads/?rr=http%3A%2F%2Flandinghub.visualstudio.com%2Fvisual-cpp-build-tools

下载完成后,双击下载的文件,然后会提示勾选

然后就是漫长的下载vs build tools工具了. 我大概花了一个小时时间来安装吧,最后把这个vs 2017 build tools工具安装完毕后,提示重启,我重启完后,再打开cmd 然后输入 pip install Scrapy 运行,最后提示安装成功,终于搞定了!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-04-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python绿色通道 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 为什么要学习Scrapy
  • Scrapy学前准备
  • 安装Scrapy
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档