学习
实践
活动
专区
工具
TVP
写文章

Scrapy:python3下的第一次运行测试

运行环境配置

本次测试的环境是:Windows10, Python3.4.3 32bit

安装Scrapy : $ pip install Scrapy #实际安装时,由于服务器状态的不稳定,出现好几次中途退出的情况

编写运行第一个Scrapy爬虫

生成一个新项目:tutorial

scrapy startproject tutorial

项目目录结构如下:

定义要抓取的item

定义Spider

运行

scrapy crawl dmoz -o item.json

1) 结果报错:

A) ImportError: cannot import name '_win32stdio'

B) ImportError: No module named 'win32api'

2) 查错过程:查看官方的FAQ和stackoverflow上的信息,原来是scrapy在python3上测试还不充分,还有小问题。

3) 解决过程:

A) 需要手工去下载twisted/internet下的 _win32stdio 和 _pollingfile,存放到python目录的libsitepackagestwistedinternet下

B) 下载并安装pywin32

再次运行,成功!在控制台上可以看到scrapy的输出信息,待运行完成退出后,到项目目录打开结果文件items.json, 可以看到里面以json格式存储的爬取结果。

第一次运行scrapy的测试成功

接下来的工作

接下来,我们将使用GooSeeker API来实现网络爬虫,省掉对每个item人工去生成和测试xpath的工作量。目前有2个计划:

在gsExtractor中封装一个方法:从xslt内容中自动提取每个item的xpath

从gsExtractor的提取结果中自动提取每个item的结果

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190510A0E0AP00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券