scrapy shell

今天小婷儿给大家分享的是scrapy shell。

scrapy shell

一、scrapy shell

1、安装pip install Jupyter

2、在pycharm中的启动命令: scrapy shell

注:启动后关键字高亮显示

3、查看response

执行scrapy shell http://www.521609.com,查看response

二、Scrapyshell 使用细节

注:调用:scrapy shell https://www.xxx.com/

1、Scrapyshell 终端是一个交互终端

我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据;

2、Jupyter

如果安装了 Jupyter ,Scrapy终端将使用 Jupyter (替代标准Python终端)。 Jupyter 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。推荐安装Jupyter;

3、response

当shell载入后,将得到一个包含response数据的本地 response 变量,输入response.body将输出response的包体,输出 response.headers 可以看到response的响应头;

4、response.selector

输入 response.selector 时, 将获取到一个response 初始化的类 Selector 的对象,此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询;

5、执行命令

1)scrapy shell http://www.ichong123.com/pics/

2)执行:li_list = response.xpath('//ul[@class="conlist cf"]/li')

3)执行:len(li_list) 证明有数据

4)执行:li_list[0].xpath('.//img/@src').extract_first()得到图片

5)执行:li_list[0].xpath('.//a/text()').extract()[0]得到图片名字

以上是Scrapyshell 的基本使用,谢谢关注!!!

本文分享自微信公众号 - DB宝(xiaomaimiaolhr),作者:小婷儿

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【DB笔试面试562】在Oracle中,如何监控索引的使用状况?

    在开发应用程序时,可能会建立很多索引,那么这些索引的使用到底怎么样,是否有些索引一直都没有用到过,在这种情况下就需要对这些索引进行监控,以便确定它们的使用情况,...

    小麦苗DBA宝典
  • 【DB笔试面试452】函数SUBSTR和INSTR有什么区别?

    SUBSTR和INSTR都是字符函数,SUBSTR是截取子串,而INSTR的作用是获取指定字符的位置。

    小麦苗DBA宝典
  • 蓝本(blueprint)

    将视图方法模块化,既当大量的视图函数放在一个文件中,很明显是不合适,最好的方案是根据功能将路由合理的划分到不同的文件中;而蓝本就是为了解决这个问题而出现的。

    小麦苗DBA宝典
  • Response响应

    在去发送一个请求时,先会找到主机服务器再找到对应的Service,找到Servoce对应的引擎

    木瓜煲鸡脚
  • 返回用户指定页面的web服务器

    skylark
  • IOS Alamofire使用get获取数据

    用户5760343
  • IOS Alamofire使用Post获取数据

    用户5760343
  • 面向对象封装的web服务器

    skylark
  • 爬爬更健康

    爬取淘宝商品的信息,数据主要用于分析市场趋势,从而制定一系列营销方案。实现功能如下:

    公众号---志学Python
  • servlet设置缓存时间以及文件的下载

    缓存时间的设置: 1 public void doGet(HttpServletRequest request, HttpServletResponse res...

    欠扁的小篮子

扫码关注云+社区

领取腾讯云代金券