Python自动统计微博抽奖中奖男女比例(附代码)

今天来写一个自动计算微博抽奖男女比例的代码,很早就应该发这篇了,只是不想蹭热点(才不是拖更)。

整个的过程大概分为三步:

S1:从抽奖公示页获取所有中奖者的微博ID

S2:由每个中奖者的微博ID进入其相应主页,获得需要的个人信息(性别、粉丝数、微博数等)

S3:对收集到的信息进行相应的汇总分析

接下来一步一步地进行就好了,没什么难点和需要注意的地方,权当做是一次很小的练手。

首先每次微博抽奖都会有一个公示链接。形如:http://event.weibo.com/yae/event/lottery/result?pageid=100140E1204222&id=3538105&f=weibo

其中pageid和id两个变量就可以定位一次抽奖。

中奖名单每页公示3个,当你点下一页的时候会以AJAX方式请求数据。

因此我们只需要请求第一页以后,获取获奖的总人数,然后循环分别获取其余AJAX请求。

将每个获奖人的ID放在一个列表里,每次append即可。

在这边有一点就是,我们必须要在登陆状态下访问才可以看到获奖情况,否则会跳转登录页。解决办法是带cookie访问。无脑加headers和cookies不会有问题。

def lottery(page, pageid, lid):
    cookies = {# your cookies }

    headers = {# copy the headers }

    params = (
        ('pageid', pageid),  # 100140E1198435
        ('id', lid),  # 3436763
        ('page', page),  # 2
        ('prizeLevel', '1'),
        ('_t', '0'),
        ('__rnd', int(time.time() * 1000)),  # 1542650067843
    )

    response = requests.get('https://event.weibo.com/yae/aj/event/lottery/result', headers=headers, params=params,
                            cookies=cookies)

    return response.text

我们可以看到AJAX返回的内容是一个JSON,但是这个JSON内的数据却又没有那么的友好,并不是我们常见的直接给出了每个用户的数据字典,而是给了我们一个HTML标签包裹的代码块。也就是说需要进一步的解析,不过好在并不复杂,这里我选择自己比较熟悉的BS来做,别的解析方法也都可以。

运行代码,我们便可以得到所有中奖用户ID组成的一个列表了。

def result(pageid, lid):
    userid = []
    jsonObj = json.loads(lottery('1', pageid, lid))
    html = jsonObj['data']['html']
    # print(html)
    bsObj = BeautifulSoup(html, 'lxml')
    # <span class='lottery_published_gray'>113</span>
    spans = bsObj.find_all('span', {'class': 'lottery_published_gray'})
    count = spans[-1].text
    n = int(count) // 3 + 1
    if n == 1:
        dt = bsObj.find_all('dt')
        for each in dt:
            userid.append(each.find('a')['href'].split('/')[3])
        print(userid)
    else:
        for i in range(1, n + 1):
            jsonObj = json.loads(lottery(i, pageid, lid))
            html = jsonObj['data']['html']
            bsObj = BeautifulSoup(html, 'lxml')
            dt = bsObj.find_all('dt')
            for each in dt:
                userid.append(each.find('a')['href'].split('/')[3])
            print(userid)

    return userid

获取性别要进入到每个用户的个人信息页面。在这里我们选择请求手机版页面,没有太多杂乱的页面结构和广告,反爬也相对宽松。

还是跟刚才差不多,带cookies请求页面就好了。这边的结构很规范,用XPATH也可以,当然如果我们只取性别的话,正则也是够用的。其余的信息像是姓名、地区、生日、标签、简介等等,大家可以相应地自己实现。

def userInfo(uid):
    cookies = {# your cookies}

    headers = {# copy the headers}

    response = requests.get('https://weibo.cn/' + uid + '/info', headers=headers, cookies=cookies)

    h = response.text
    # print(h)
    pattern = re.compile(r'性别:(.)')
    sex = pattern.search(h).group(1)
    return sex

如此循环得到了所有用户的性别后,我们只需要统计列表中的男女比例就可以了。

# 大概在300次左右会出现请求失败。所以如果中间人数特别多的话,还是设置一下延时。

最后就是简单的数据分析。因为一来数据总量不大,二来我们不打算进行太深入的数据分析,在不考虑存储的情况下,我们直接使用了列表来存结果。如果要进一步分析,最好还是用字典(JSON)、CSV等方式进行持久化操作。既然是列表存储的话,我们可以直接用列表的count方法来计算出男女比例。大家也可以结合可视化方法来更直观地展示结果。

print(usersex.count('女'))
print(usersex.count('男'))

最终可以看一下两次抽奖的结果:

usersex1 = ['女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
       '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
       '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
       '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
       '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
       '女', '女', '女']

usersex2 = ['男', '女', '女', '男', '女', '男', '女', '女', '女', '男', '女', '女', '女', '女', '女', '女', '女', '男', '女', '男', '女', '男',
           '男', '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '男', '男', '男', '女',
           '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '女', '男', '女', '女', '女', '女', '女',
           '女']

第一次抽奖113人中,有112人为女;第二次抽奖67人中,有51人为女。

原文发布于微信公众号 - 不二小段(rose-fun)

原文发表时间:2018-11-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

余生只够写50行代码,这么写绝对赚翻了

学Python最简单的方法是什么?推荐阅读:Python开发工程师成长魔法 假如有一天死神来找你,警告你最多只能再写50行代码,然后就得随他而去,应该写点什么...

3148
来自专栏静晴轩

Rake让Jekyll写博更优雅

于想拥有个人站点品牌的人来讲,现如今是一个很好的时期。至少 Hexo、Jekyll、Leanote、WordPress 、FarBox Octopress、gh...

3675
来自专栏Kiba518

【我们一起写框架】MVVM的WPF框架(五)—完结篇

框架设计不应该局限于任何一种设计模式,我们在设计框架时,应该将设计模式揉碎,再重组;这样设计出来的框架才具有一战之力。

1094
来自专栏Vamei实验室

协议森林02 小喇叭开始广播 (以太网与WiFi协议)

“小喇叭开始广播啦”,如果你知道这个,你一定是老一辈的人。“小喇叭”是五十年代到八十年代的儿童广播节目。在节目一开始,都会有一段这样的播音:“小朋友,小喇叭开始...

19310
来自专栏take time, save time

python 爬虫 入门 commit by commit -- commit4

"太极生两仪,两仪生四象,四象生八卦我不懂,但是写程序嘛,都是0到1,1到N。" --by 我自己

1101
来自专栏JadePeng的技术博客

HTML5录音控件

最近的项目又需要用到录音,年前有过调研,再次翻出来使用,这里做一个记录。 HTML5提供了录音支持,因此可以方便使用HTML5来录音,来实现录音、语音识别等功能...

1.2K5
来自专栏Crossin的编程教室

【Python 第4课】输入

Hi~Crossin又来了。 可以用编程语言让计算机按你说的指令做事情之后,大家是不是有些跃跃欲试呢?别着急,先回顾一下我们之前几节课。我们到现在一共提到了三种...

3167
来自专栏菩提树下的杨过

Web开发感悟:数据绑定是一种技术,更是一门艺术

1、前言 作为一个多年从事b/s开发的程序猿,曾先后使用过asp、asp.net做为主要服务端语言。不管是相对低级的asp也好,还是高级的asp.net也罢,都...

2055
来自专栏FreeBuf

Bash漏洞再次演进:缓冲区溢出导致远程任意命令执行

近几天,“Shellshock”Bash漏洞的出现可谓是给安全界投放了一颗重型炸弹,越来越多的厂商和黑白帽子都纷纷加入到分析阵营当中,同时也接二连三爆出了更多针...

20610
来自专栏一个会写诗的程序员的博客

《Kotlin极简教程》第1章 Kotlin简介

我们这里讲的Kotlin,就是一门以这个Котлин岛命名的现代程序设计语言。它是一门静态类型编程语言,支持JVM平台,Android平台,浏览器JS运行环境,...

792

扫码关注云+社区