爬取美团网站信息(二)

目前还在写代码中,模拟登陆,所以在慢慢更新

接着上一次的代码,接下来就是关于爬取区县以及街道的信息

有了上一次的省市信息,从数据库中拿出市一级的信息,根据美团的请求的url,发现只需要拼音的简写,就可以组成新的url去访问

依据此,去爬取数据

先去从数据库中获取数据,直接的截图,返回的是一个生成器,生成器的知识自己去了解,返回的是城市的id,及它的拼音简写

接下来就是拼接url,发送请求,获取区县数据,源码的一部分

重新拼接好的url放入列表中,重写start_requests方法,使用request.meta方法传递附加的数据,该方法可以传递任何数据,使用response获取传递的数据

接下来就是将所需要数据解析出来,根据items中定义的,去保存数据,通过管道将其保存到数据库中,下图中的数据是从数据中导出来的,区县的数据(3092)

街道的数据(20593)

当然数据可能没有那么完整,目前就更具此来爬取店铺的简要信息一共是56w的数据 ,具体的获取下一节再说,当然这些都是比较简单的获取,代码还不是特别完善

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180904G1FQ0P00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券