专栏首页一个爱吃西瓜的程序员爬取许嵩的所有微博并存入MongoDB

爬取许嵩的所有微博并存入MongoDB

我很喜欢许嵩的音乐,我以前基本上他的每首歌都会唱,比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《庐州月》等等,打开播放器,基本上都是循环播放许嵩的歌,简直欲罢不能!

这次我就来爬取许嵩的所有新浪微博,我打算之后把许嵩音乐的网易云评论都爬取下来,现在水平还不够,暂时爬个微博玩玩。

分析网页:

先打开许嵩的微博首页:

现在微博的内容都是采用Ajax的加载方式,形象描述就是:我们不停的往下翻微博,它是动态加载出来的下一页,而页面URL没有改变。

鼠标右键—检查—选择network—选择XHR选项卡,这里面就是Ajax动态加载出来的内容。

我不停的下滑鼠标,看XHR选项卡的变化:

点击其中一个包,查看它的headers信息:

这个就是我们用来构造URL的参数,还好都没加密,我才能爬下来,否则我就不会了。多点开几个包查看这些参数,我们发现这几个参数都没有变,这就好办了。

接着查看返回的源代码:

这里,每条微博信息都是在data标签下的cards标签下,每一页共有10条微博,total表示共有395条微博,page是当前页数,可以通过修改page达到翻页的效果。

点开mblog标签,attitudes_count是点赞数,comments_count是评论数,reposts_count是转发数,text是微博文本信息,id是每条微博携带的一个编号

分析到这里就可以写代码了。

完整代码

完整代码如下:

    from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq    
from pymongo import MongoClient
import time


base_url = 'https://m.weibo.cn/api/container/getIndex?'

headers = {    
    'Host': 'm.weibo.cn',    
    'Referer': 'https://m.weibo.cn/u/1251000504',    
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/67.0.3396.87 Safari/537.36',
}

# 这里需要提前创建好‘weibo’数据库
# 并在‘weibo’数据库中创建一个‘weibo’集合
# 我是用mongodb可视化工具Robo 3t手动创建的
client = MongoClient()
db = client['weibo']
collection = db['weibo']
   
def get_page(page):
    # 这个params参数可以直接从浏览器中复制过来
    # 记得添加一个page参数
    params = {        
    'uid': '1251000504',        
    'luicode' : '10000011',        
    'lfid': '100103type=1&q=许嵩',        
    'featurecode': '20000320',        
    'type': 'uid',        
    'value': '1251000504',        
    'containerid': '1076031251000504',        
    'page': page
    }
    # 动态构造URL
    url = base_url + urlencode(params)    
    try:
        response = requests.get(url, headers=headers)        
        if response.status_code == 200:            
            return response.json()    
    except requests.ConnectionError as e:
        print('Error', e.args)
    time.sleep(5) # 休息一下,防止封ip
    
def parse_page(json):    
    if json:
        items = json.get('data').get('cards')        
        for index, item in enumerate(items):            
            if page == 1 and index == 1:                
                continue
            else:
                item = item.get('mblog')
                weibo = {}
                weibo['id'] = item.get('id')
                weibo['text'] = pq(item.get('text')).text()
                weibo['attitudes'] = item.get('attitudes_count')
                weibo['comments'] = item.get('comments_count')
                weibo['reposts'] = item.get('reposts_count')                
                yield weibo

                                
if __name__ == '__main__':  
    # 这个41是我算出来的
    # 一共395条微博,每页10条,从1开始计数  
    for page in range(1, 41):
        json = get_page(page)
        results = parse_page(json)        
   ‍‍     for result in results:            
            # print(result)
            # 将结果插入数据库
            collection.insert(result)        
‍‍    

查看爬取数据

然后看一下存在mongodb中的数据:

这里我使用的是mongodb的可视化工具:Robo 3T。利用它可以方便的查看mongodb数据库里的数据,

这里可以看到,许嵩的第一条微博是2011年8月25号发的,那个时候的许嵩正在疯狂写歌~

本文分享自微信公众号 - 一个爱吃西瓜的程序员(youcoding)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用Python画一只丑丑的猪头

    前两天在知乎上看到有人用Python的turtle库画了一只小猪佩奇,接着就有网友用turtle画了一只哆啦A梦,不得不说他们都是人才,画得有模有样的。知乎地址...

    爱吃西瓜的番茄酱
  • 常用SQL语句和语法汇总

    近几年数据库发挥了越来越重要的作用,这其中和大数据、数据科学的兴起有不可分割的联系。学习数据库,可以说是每个从事IT行业的必修课。你学或不学,它就在那里;你想或...

    爱吃西瓜的番茄酱
  • 学习SQL【4】-聚合与排序

    随着表中记录(数据行)的不断积累,存储数据逐渐增加,有时我们可能希望计算出这些数据的合计值或者平均值等,这个时候就需要使用SQL语句的汇总操作等方法。 一:对表...

    爱吃西瓜的番茄酱
  • 类型系统-前端进化的里程碑

    大半夜的JavaScript Weekly发来贺电:TypeScript 2.0 Final Released!

    前端博客 : alili.tech
  • [android] 异步http框架与实现原理

    介绍github上的异步http框架android-async-http loopj开发

    陶士涵
  • 软件项目造价评估时的数据类别有哪些?

    软件项目造价评估时的数据类别都有哪些分类呢?通常,在进行软件造价时的数据类别可分为3类:业务数据、引用数据、编码数据。 业务数据:也称为用户的核心数据...

    软件成本造价评估
  • 3秒爬取百度图片网站,批量下载各种图片

    行哥写了30行Python代码来帮你解决这个问题,现在你只要对代码进行复制、粘贴、运行三连就可以爬取你想要的图片。

    行哥玩Python
  • 快速学习Lucene-索引库的维护

    是否分析:是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。 是否索引:将Field分析后的词或整个Field值进行索引,只有索引方可搜索到。 比...

    cwl_java
  • IBM将使用云计算治理雾霾

    IBM周一宣布,已经与北京市政府达成合作协议,将使用该公司先进的天气预测和云计算技术,帮助其解决顽固的雾霾问题。 由于环境污染形势日益严峻,中国政府已经承诺将改...

    静一
  • CAM:如何利用分类网络找到物体的位置?

    论文:Learning Deep Features for Discriminative Localization

    AI深度学习求索

扫码关注云+社区

领取腾讯云代金券