爬取美团网站信息(三)

好久没发了,接着上次的来

已经获取到街道和区县的信息,然后就是关于每个街道下的店铺信息,分析页面

目前就是获取它的这些信息,然后继续保存在数据库中

按F12,F5刷新,分析响应的数据,

下图就是response中响应的数据,分析找出所需的数据

从数据库中获取街道的url,去访问,分析响应的数据,取出script中的数据。response中响应的数据可以先写成HTML,然后再工具中格式化代码,这样就比较清晰,容易分析(图是详细信息,不是店铺的简要信息)

保存数据,数据放到item中,scrapy框架会自动通过管道py文件,将数据保存返回一个生成器

判断是否有下一页,美团中 的数据,一页的数据是32条,

如果有下一页则重新拼接url,在script中能取出当前页,从第二页开始的url就需要每次在request.meta参数保存最初的url

拼接之后继续发送请求,下载数据

这是趴下来的数据,总共有56w多的数据。目前还没有使用代理ip.有问题可以留言,代码没有,只有截图。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180914G0OJAM00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券