前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬取美团网站信息(三)

爬取美团网站信息(三)

作者头像
andrew_a
发布2019-07-30 13:01:53
7560
发布2019-07-30 13:01:53
举报
文章被收录于专栏:Python爬虫与数据分析

好久没发了,接着上次的来

已经获取到街道和区县的信息,然后就是关于每个街道下的店铺信息,分析页面

目前就是获取它的这些信息,然后继续保存在数据库中

按F12,F5刷新,分析响应的数据,

下图就是response中响应的数据,分析找出所需的数据

从数据库中获取街道的url,去访问,分析响应的数据,取出script中的数据。response中响应的数据可以先写成HTML,然后再工具中格式化代码,这样就比较清晰,容易分析(图是详细信息,不是店铺的简要信息)

保存数据,数据放到item中,scrapy框架会自动通过管道py文件,将数据保存返回一个生成器

判断是否有下一页,美团中 的数据,一页的数据是32条,

如果有下一页则重新拼接url,在script中能取出当前页,从第二页开始的url就需要每次在request.meta参数保存最初的url

拼接之后继续发送请求,下载数据

这是趴下来的数据,总共有56w多的数据。目前还没有使用代理ip.有问题可以留言,代码没有,只有截图。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-09-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python爬虫scrapy 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档