专栏首页Python绿色通道Python爬虫&可视化之舌尖上的“小龙虾”

Python爬虫&可视化之舌尖上的“小龙虾”

PART1:获得数据

本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅

从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个餐厅,121.3万条评论。

我们截取其中的部分核心代码:

def find_city_page(path):
    data = pd.read_excel(path)
    city_lobster_page = pd.DataFrame()
    driver = webdriver.Chrome()    
    for i in range(0,len(data)):
        try:
            js='window.open("'+data['city_lobster_url'][i]+'")'
            driver.execute_script(js)
            bsObj = BeautifulSoup(driver.page_source,'html.parser')
            bs = bsObj.find_all('a',attrs={'class':'PageLink'})
            this_city_lobster={'city_name':data['city_name'][i],
                               'page_num':max([int(l.text ) for l in bs])}
            city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True)
        except:
            continue
    return city_lobster_page

PART2: 城市对比

我们首先要进行分析的是各个城市的小龙虾热度,我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据,得到的TOP20城市如下:

可以看出上海市的点评数遥遥领先,可能存在以下两个因素:a.上海市的小龙虾餐厅数量较多,本身存在较大的消费群体 b.大众点评总部在上海,上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后,我们首先看一下TOP20城市小龙虾的人均消费

该项统计中,包邮区占据了靠前的位置,体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半,有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况:

我们发现服务分与环境分排序相同,二者具有极强的相关性,符合通常认知。同时可以看到在三项分数中,北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置,其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图,似乎有些有悖于大家的认知。

由此我们可以得出在小龙虾整体热度比较强的区域,人们对于小龙虾各方面的要求会相应提高,相反在整体热度偏低区域,人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位,需要进行相应的调整。

PART3: 探索龙虾

我们看过了各个城市的情况后,进一步看一下小龙虾本身的一些有趣的内容,首先看一下龙虾的口味,我们选取了各个餐厅中带有龙虾的推荐菜,分词后获得TOP20的口味

十三香、蒜蓉、麻辣高居前三位,根据作者的经验,这基本上是符合大家整体口味的选择。TOP20中的蛋黄,白灼对于作者而言相对陌生,有品尝过的朋友可以分享一些这些口味的体验。

看完了口味,再看一下龙虾的好丽友

螺丝、花甲、毛豆位高居TOP3,看来大家吃龙虾的时候,会希望同时选择一些不用摘手套就可以享用的食物,毕竟吃的过程中频繁摘手套会比较费劲。

PART4: 龙虾画像

目前互联网公司中非常普遍地会进行一些人群画像的分析,我们在这里借用一下这个概念,也为小龙虾绘制一副专属的画像,下面展示的两幅图分别是词云图和模板原图

部分词云绘制代码如下:

# 解析小龙虾图片
back_color = imread('小龙虾.jpg')  # 解析该图片
# 参数配置
wc = WordCloud(background_color='white',  # 背景颜色
               max_words=300,  # 最大词数
               mask=back_color,  # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
               max_font_size=100,  # 显示字体的最大值
               font_path="C:/Windows/Fonts/simhei.ttf",  # 解决显示口字型乱码问题,可进入C:/Windows/Fonts/目录更换字体
               random_state=4,  # 为每个词返回一个PIL颜色
               #width=2000,  # 图片的宽
               #height=1860  #图片的长
               )
# 通过encounter计数器生成词云
wc.generate_from_frequencies(word_counts)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')

PART5: 特(hei)色(an)龙虾

文章最后我们放上几个之前分词发现的特色口味龙虾,或许下一个网红龙虾就在其中

本文分享自微信公众号 - Python绿色通道(Python_channel)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫篇 | Python爬虫之舌尖上的“小龙虾”

    从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个...

    叫我龙总
  • JS逆向 | JSF*ck,这个看着头大的加密其实很简单

    我遇到过有两款网站用的就是 JSFuck 加密的,这个转换风格第一次遇到的时候内心OS就和这个名字一样。

    叫我龙总
  • 分析了3447个地铁站,发现了地铁命名的秘密

    叫我龙总
  • 爬虫篇 | Python爬虫之舌尖上的“小龙虾”

    从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个...

    叫我龙总
  • 视频产品-腾讯云实时音视频套餐包

    https://cloud.tencent.com/act/cps/redirect?redirect=1022&cps_key=9e19e1536ac69d2...

    用户1361591
  • 企业高并发架构方案

    QPS:(Query Per Second:每秒查询率),在互联网领域,指每秒响应请求数(http请求)。

    架构师修行之路
  • Qt学习笔记网络(一)

    Qt5 移除了QHttp是因为功能重复 用QNetworkAccessManager完全能搞定 新建一个控制台应用程序 看一下QNetworkAccessMan...

    lpxxn
  • 关于微信和Python的点点滴滴

    微信自上线以来,一直没有自动回复的功能,想必是有他们的理念。但是有些人群,确实对此功能有一定需求,我举两个栗子:

    IT派
  • ApiBoot - ApiBoot Security Oauth 依赖使用文档

    ApiBoot是一款基于SpringBoot1.x,2.x的接口服务集成基础框架, 内部提供了框架的封装集成、使用扩展、自动化完成配置,让接口开...

    恒宇少年
  • 最大似然函数最大似然原理小结:最大似然估计法的一般步骤:例子:

    用户1733462

扫码关注云+社区

领取腾讯云代金券