首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scrapy 中 Request 对象和

Scrapy 中 Request 对象和

作者头像
py3study
发布2020-01-17 16:24:51
6780
发布2020-01-17 16:24:51
举报
文章被收录于专栏:python3python3

Request 对象

  • Request构造器方法的参数列表:
    • Request(url [, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', priority=0,dont_filter=False, errback=None, flags=None])
  • 各参数说明:
    • url(必选)
      • 请求页面的url地址,bytes或str类型。
    • callback
      • 页面解析函数,Callback类型,Request请求对象的页面下载完成后,由该参数指定的页面解析函数解析页面,如果未传递该参数,默认调用Spider的parse方法。
    • method
      • HTTP请求的方法,默认为‘GET’。
    • headers
      • HTTP请求的头部字典,dict 类型。
    • body
      • HTTP请求的正文,bytes 或 str类型。
    • cookies
      • Cookie信息字典,dict 类型。
    • meta
      • Request 的元数据字典,dict 类型,用于给框架中其他组件传递信息,比如中间件 Item Pipeline。其他组件可以使用Request 对象的 meta 属性访问该元数据字典 (request.meta), 也用于给响应处理函数传递信息。
    • encoding
      • url 和 body 参数的编码默认为'utf-8'。如果传入的url或body参数是str 类型,就使用该参数进行编码。
    • priority
      • 请求的优先级,默认值为0,优先级高的请求优先下载。
    • dont_filter
      • 默认情况下(dont_filter=False),对同一个url地址多次提交下载请求,后面的请求会被去重过滤器过滤(避免重复下载)。如果将该参数置为True,可以使请求避免被过滤,强制下载。例如:在多次爬取一个内容随时间而变化的页面时(每次使用相同的url),可以将该参数设置为True。
    • errback
      • 请求出现异常或出现HTTP错误时(如404页面不存在)的回调函数。

Response 对象

  • 概念:
    • Response 对象用来描述一个HTTP响应,Response只是一个基类,根据响应内容的不同有如下子类:
      • TextResponse
      • HtmlResponse
      • XmlResponse
    • 当一个页面下载完成时,下载器依据HTTP响应头部中的Content-Type信息创建某个Response的子类对象。通常一般是HtmlResponse子类。
  • HtmlResponse 对象的属性及方法:
    • url
      • HTTP 响应的url地址,str 类型。
    • status
      • HTTP 响应的状态码,int 类型。
    • headers
      • HTTP 响应的头部,dict 类型。可以调用get或getlist方法对其进行访问。
    • body
      • HTTP 响应正文,bytes 类型。
    • text
      • 文本形式的HTTP响应正文,str 类型,它是由 response.body 使用 response.encoding 解码得到的。
        • response.text = response.body.decode(response.encoding)
    • encoding
      • HTTP 响应正文的编码,它的值可能是从HTTP响应头部或正文中解析出来的。
    • request
      • 产生该HTTP 响应的Request对象。
    • meta
      • 即 response.request.meta, 在构造 Request对象时,可将要传递给响应处理函数的信息通过meta参数传入;响应处理函数处理响应时,通过response.meta 将信息取出。
    • selector
      • Selector 对象用于在Response 中提取数据。
    • xpath(query)
      • 使用XPath选择器在Response中提取数据;它是 response.selector.xpath 方法的快捷方式。
    • css(query)
      • 使用 CSS选择器在Response中提取数据;它是 response.selector.css方法的快捷方式。
    • urljoin (url)
      • 用于构造绝对 url 。当传入的url参数是一个相对地址时,根据response.url 计算出相应的绝对 url。
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-05-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Request 对象
  • Response 对象
相关产品与服务
消息队列 TDMQ
消息队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中包含兼容Pulsar、RabbitMQ、RocketMQ 等协议的消息队列子产品,得益于其底层计算与存储分离的架构,TDMQ 具备良好的弹性伸缩以及故障恢复能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档