前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >美团APP爬虫,获取指定范围内所有美食店铺信息

美团APP爬虫,获取指定范围内所有美食店铺信息

作者头像
机器学习AI算法工程
发布2019-10-28 16:07:24
3.2K0
发布2019-10-28 16:07:24
举报
美团APP爬虫,可获取指定城市范围内所有美食店铺信息,包含店铺名称、类别、评分、所属片区、经纬度、详细地址、优惠套餐情况、营业时间、联系电话、累计售出份数、餐厅简介、特色菜......

可指定存储方式,有txt,csv,mysql数据库三种方式可供选择.

代码获取:

关注微信公众号 datayx 然后回复 美团 即可获取。

一、使用方法

可参照run.py 1.创建一个MT_spider,可指定存储模式,默认为txt

spider = MT_spider(save_mode='csv')

2.调用run方法

spider.run()

二、注意事项

1.默认设置有随机2~5秒爬取间隔,建议不要修改 2.若有需要文件存储名称、路径以及数据库设置项可在settings.py中修改 3.默认爬取城市为深圳,由于美团APP的api中城市信息根据id传输,若要修改城市,只需修改spider.py下base_url中city/后面的数字即可

http://api.meituan.com/group/v4/deal/select/city/30/cate/1?sort=
solds&hasGroup=true&mpt_cate1=1&offset={0}&limit=100

1为北京,10为上海,20为广州,30为深圳,253为襄阳,其他的可抓包获取

三、结果

美团美食商家:深圳23540家;北京24964家;上海28380家;广州21709家;而襄阳只有2851家....

各地的美食偏好情况分析: 1.深圳:最爱牛肉、牛肉丸、三文鱼、豆腐、水果

2.北京:最爱牛肉、五花肉、三文鱼、酸梅汤、羊蝎子、宫保鸡丁

3.上海:最爱三文鱼、牛肉、酸菜鱼、红烧肉、提拉米苏

4.襄阳:表示四线小城市没吃过三文鱼这种高端产品,不过牛肉还是不错的,还有火锅、干锅什么的也很nice


本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-10-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习AI算法工程 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、使用方法
  • 二、注意事项
  • 三、结果
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档