首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用python知道前任3为什么这么火

前任三经典台词:

成长不一定会得到什么,

但一定会失去什么。

最近小编的空间都被前任3刷屏了,小编觉得很奇怪,为什么这部电影这么火,然后小编就去看了一下,笑边哭的稀里哗啦,终于知道为什么这么火了,但还是忍不住爬取了一下数据。言归正传还是希望大家能多学一下python知识的。如果大家在学习Python的过程中遇到不懂的问题可以加小编的企鹅,可以帮大家答疑,你需要什么资料我也会提供给你的哦(一九四三六二二六四八)

流程如下:

创建一个Scrapy项目;

定义提取的Item;

编写爬取网站的 spider 并提取 Item;

编写 Item Pipeline 来存储提取到的Item(即数据)。

提取数据库数据,处理展示

创建项目,终端输入

项目结构(不包括后续配置)

scrapy实现模拟登录

okies的写法,可以与request中cookie的写法对比下

这里我用了两种方法解决这个问题,第一个是加cookie,效果不太理想,我换了第二种采用登录的方式。

词云和分布图展示

额~,词云图好像并不能看出什么~而分布图表达的结果也并不直观,那就代表本次的结果没有什么卵用,好吧!

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180119A0IX7W00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券