爬取美团网站信息（三）

好久没发了，接着上次的来

已经获取到街道和区县的信息，然后就是关于每个街道下的店铺信息，分析页面

目前就是获取它的这些信息，然后继续保存在数据库中

按F12，F5刷新，分析响应的数据，

下图就是response中响应的数据，分析找出所需的数据

从数据库中获取街道的url，去访问，分析响应的数据，取出script中的数据。response中响应的数据可以先写成HTML，然后再工具中格式化代码，这样就比较清晰，容易分析（图是详细信息，不是店铺的简要信息）

保存数据，数据放到item中，scrapy框架会自动通过管道py文件，将数据保存返回一个生成器

判断是否有下一页，美团中 的数据，一页的数据是32条，

如果有下一页则重新拼接url，在script中能取出当前页，从第二页开始的url就需要每次在request.meta参数保存最初的url

拼接之后继续发送请求，下载数据

这是趴下来的数据，总共有56w多的数据。目前还没有使用代理ip.有问题可以留言，代码没有，只有截图。