Python爬虫Scrapy入门看这篇就够了

来源: 罗罗攀 链接:

https://www.jianshu.com/p/e5ead6af4eb2

一、初窥scrapy

scrapy中文文档:

http://scrapy-chs.readthedocs.io/zh_CN/latest/

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

scrapy是一个很好的爬虫框架,集爬取、处理、存储为一体,为无数爬虫爱好者所热捧,但个人认为对初学者并不友好,建议初学者打好基础再来看scrapy。

二、昨夜西风凋碧树,独上高楼,望尽天涯路(安装库)

本以为自己安装Python库已经有一定的理解和方法了,结果还是栽在了安装scrapy库上,本人是win7系统+Python3.5的环境。先给大家丢个安装Python库的网站:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

1 lxml库的安装 通过网站下载安装(具体安装方法见后面视频)

2 zope.interface库安装 pip3 install zope.interface

3 twisted库安装 通过网站下载安装

4 pyOpenSSL库安装 pip3 install pyOpenSSL

5 pywin32库安装 通过网站下载安装

6 pip3 install scrapy

你以为这样就结束了,天真,我在运行程序的时候说没有pywin32的DLL,当时我一脸懵逼,用黑窗口导入pywin32结果报错,还好在好友的帮助下解决了。

错误图

解决方法1

解决方法2

把图三的文件拷贝到C:\Windows\System32

三、衣带渐宽终不悔,为伊消得人憔悴(各种出错)

创建scrapy项目:

scrapy项目文件结构:

1 错误一

错误图

出错原因

解决方案代码见下

2 错误二

无法导出为csv,看了向右奔跑的导出csv代码,在我本地电脑无法导出

然来去scrapy文档看了下,对settings.py进行了修改如下:

四、纵里寻他千百度,蓦然回首,那人却在灯火阑珊处(代码运行成功)

1 items.py代码

2 新建xiaozhuspider.py

3 新建main.py(运行main.py就可以运行爬虫了)

结果

五、视频

没完全理解的同学可以观看视频讲解哦。

https://v.qq.com/x/page/t0356cp46sw.html

(完)

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171228B03VTX00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券