Python爬虫之微博好友圈代码代码分析词云

数学建模已结束,刚开始的目标就是不熬夜,结果还是熬夜了(QAQ),缓了一天就来写简书了,感觉很久没爬虫了,今天就爬下移动端的微博好友圈信息。

代码

import requests
import json

headers = {
    'Cookie':'xxxxxxxx',
    'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}

f = open('C:/Users/LP/Desktop/weibo.txt','a+',encoding='utf-8')

def get_info(url,page):
    html = requests.get(url,headers=headers)
    json_data = json.loads(html.text)
    card_groups = json_data[0]['card_group']
    for card_group in card_groups:
        f.write(card_group['mblog']['text'].split(' ')[0]+'\n')

    next_cursor = json_data[0]['next_cursor']

    if page<50:
        next_url = 'https://m.weibo.cn/index/friends?format=cards&next_cursor='+str(next_cursor)+'&page=1'
        page = page + 1
        get_info(next_url,page)
    else:
        pass
        f.close()

if __name__ == '__main__':
    url = 'https://m.weibo.cn/index/friends?format=cards'
    get_info(url,1)

代码分析

  1. 提交cookie模拟登陆微博
  2. 好友圈的信息也是异步加载,如图为第一页的url

看下返回的数据中,这个next_cursor很重要!!!!

往下翻页,如图,可以看出第二页的url中也有next_cursor,刚好是第一页返回的!!!!!

  1. 这样就可以构造多页url,爬取数据啦

词云

最后,jieba分词做了一个词云,除了二哈,感觉全是群主的,被刷屏了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏pangguoming

AngularJS 中文资料+工具+库+Demo 大搜集

中文学习资料: 中文资料且成系统的就这么多,优酷上有个中文视频。 http://www.cnblogs.com/lcllao/archive/2012/10/1...

3516
来自专栏运维一切

怎么判断一个文件是一张图片 转

当你通过Http协议下载到一个文件,你怎么判断这个文件是一个纯的图片文件,php中提供了这样的方法:

453
来自专栏移动开发面面观

iOS学习笔记——LBS

873
来自专栏哈雷彗星撞地球

iOS下WebRTC音视频通话(二)-局域网内音视频通话准备开始着手开发接收方

这里是iOS 下WebRTC音视频通话开发的第二篇,在这一篇会利用一个局域网内音视频通话的例子介绍WebRTC中常用的API。 如果你下载并编译完成之后,会看...

802
来自专栏施炯的IoT开发专栏

Windows Phone 7 开发 视频资料

1. MIX10大会Windows Phone 7相关课程视频 课程ID 课程标题 comment Keynote 大会Keynote CL01 C...

17910
来自专栏DeveWork

WordPress免插件仅代码实现面包屑导航

这个功能在网络上一搜是一大把代码,本来也不想在这里再累赘的,但为了丰富本站 DeveWord .com 的“无插件”系列,只得。。。面包屑导航不仅仅是给访客使用...

17910
来自专栏一“技”之长

iOS后台音频播放及锁屏界面显示音频信息 原

后台播放是任何一个音频软件都支持的功能,在上一篇博客中,详细介绍了使用AVAudioPlayer播放音频的方法,这篇博客将对后台的处理做介绍,关于播放与设置音频...

702
来自专栏Python中文社区

爬虫入门及HTTP协议的讲解

專 欄 ❈ 高金,知乎专栏 爬虫从入门到放弃的作者 ,喜欢爬虫!http://zhuanlan.zhihu.com/pachong ❈— 1.引言 我经常会看到...

1809
来自专栏小文博客

为你的博客注册登陆页面添加【十以内运算验证码】

852
来自专栏進无尽的文章

实践-小细节Ⅶ

所以网页的y 坐标是 0 ,但是在 iOS 11里面就是无法在 状态栏上显示,iOS11下的系统不会这样会占用 状态栏的位置

672

扫码关注云+社区