爬下几万条数据,聊聊淘宝上的飞机杯

温馨提示,本文某些内容可能会引起不适

目标:爬取淘宝上关键词为“飞机杯”的商品数据,和销量前十的所有评论。

工具:Python Scrapy 爬数据,Excel + World Cloud 分析数据

数据抓取

简单找出翻页方法,数据都藏在这里

https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1504329067199_977&callback=jsonp978&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48
https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&_ksTS=1504329110124_1174&callback=jsonp1175&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48&s=44
https://s.taobao.com/search?data-key=s&data-value=132&ajax=true&_ksTS=1504329292131_1421&callback=jsonp1422&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48&s=88

做好相应的应对措施就好了,不会的可以看看之前的 爬虫三步走(一)获取源码

数据解读

在进行简单数据处理后,看看发现了什么?

竟然在10-20元有这么多商品,哇,难以想象。

你平时买多少的?

我们看看销量

看来大多数飞机杯销量都不大好,在40下,我们来研究下销量大于10K的,有这些:

  • 名器男用自慰器撸飞机杯 ¥9.80。34496人付款
  • 全自动双穴夹吸飞机杯 ¥39.00。11437人付款
  • 全自动飞机杯 ¥399.00。12429人付款
  • 夹吸全自动飞机杯 ¥79.00。12699人付款
  • 全自动飞机杯 ¥48.00。13572人付款
  • 免提飞机杯 ¥49.00。13475人付款
  • 发声飞机杯 ¥109.00。31892人付款

价格是亮点

最后我们来研究下评论

使用评论做成的图云

商品种类的词云

太污了,我还只是个孩纸

商品名称词云

最后来试试情感分析, 参考了@王树义 老师写的 如何用Python做情感分析?

主要用到了snownlp 和 TextBlob

Sentiment(polarity=0.9578947368421052,subjectivity=0.6252631578947367)

0.96,看来人们的评价还是极高的。

如果你想购买某件商品,可以先把评论抓了,然后做个分析什么的。

这可能就是学Python的应用吧~

原文发布于微信公众号 - Python爬虫与算法进阶(zhangslob)

原文发表时间:2017-09-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA技术zhai

程序猿职场心理学,教你三进三出“斩”HR拿offer(跳槽必看)

2695
来自专栏PPV课数据科学社区

【经典好文】揭秘我所知道的网站分析

因为上一家雇主的缘故(国内Top2的专业数据分析公司),常会有很多电商的朋友来问我,到底网站分析(WebAnalysis,以下简称WA)是什么,有什么用,有没有...

3066
来自专栏DevOps时代的专栏

台湾老专家:由蝴蝶效应谈运维的系统思考

? 作者简介: Ruddy Lee(李智桦)老师,DevOpsDays北京站金牌讲师,台湾著名精益布道师,敏捷专家,著有《精益开发与看板方法 》。 ? 自我介...

3695
来自专栏腾讯Bugly的专栏

走进 VR 游戏开发的世界

背景介绍 笔者在2014年下半年尝试开发了一款 XboxOne 平台的体感游戏, 2015年进行收尾工作的同时, 结合之前积累的体感交互经验, 开始进行 VR ...

3105
来自专栏IMWeb前端团队

【IMWeb】前端圈外部分享沙龙精彩回顾!

本文作者:IMWeb link 原文出处:IMWeb社区 未经同意,禁止转载 ? 10月17号,IMWeb团队跟广州前端圈合作,在腾大二楼多功能厅,进...

2207
来自专栏大数据文摘

我们可以从Alexa语音助手的错误中学到什么:用户对话界面的设计性挑战

1342
来自专栏数据观有话说

因“数”利导 让营销成功的5个关键原则

来自:数据观 https://www.shujuguan.cn/?from=qcloud

1092
来自专栏VRPinea

学习技能UP:敢爱敢恨敢开口,还怕英语学不好?

3196
来自专栏程序员互动联盟

告别码农

一、成长的寓言:做一棵永远成长的苹果树 一棵苹果树,终于结果了。第一年,它结了10个苹果,9个被拿走,自己得到1个。对此,苹果树愤愤不平,于是自断经脉,拒绝成长...

3578
来自专栏Web行业观察

关于产品那些事

上面是 Urban Dictionary 对 Badass 的英文解释,非常到位。Badass = bad + ass,bad 是“坏的”,ass 是“屁股、愚...

1124

扫码关注云+社区

领取腾讯云代金券