前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python数据分析实例

python数据分析实例

原创
作者头像
小白学大数据
发布2022-05-27 16:40:08
3160
发布2022-05-27 16:40:08
举报
文章被收录于专栏:python进阶学习python进阶学习

很多新手爬虫掌握了爬虫技术后,总想实战一下试试手,于是一直在各大网站“踩点”。对于新手建议还是选择难度么有那么大的网站练手,多选择合适的下手目标。比如像B站这样的,某天逛B站时翻到了排行榜,我发觉那个页面十分合适,又简单的分析了下他的反爬措施,还好,比较宽松。所以决定今天就来实践下。

用爬虫之前,到目标网站“踩点”,找到感兴趣的数据,查看所需数据是否可在对应的源码中找到。今天我们爬取的主要内容分别是B站视频的排名、视频名、视频集数、播放量、点赞量及视频链接。定好需求后我们就可以开始获取数据了。这个网站的反爬虽然不是很严,但是为了防止触发反爬机制,在爬取过程中加上了代理IP,这里给大家推荐博主觉得比较好用的代理,亿牛云代理https://www.16yun.cn/。代理IP在爬虫程序里面的实现代码如下:

代码语言:javascript
复制
#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

取得数据后接着要做的便是进行数据分析,这里我爬取的是哔哩哔哩总榜七天的数据进行分析。分析后的数据下次在分享给大家看。今天重点的分享了爬虫过程中代理的使用,因为不管网站多大,只要稍微有点数据价值,网站都做了反爬机制的。所以我们在学习爬虫过程中要多多实践,遇到多的问题才能提升我们解决问题的能力。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档