专栏首页网络爬虫网络爬虫的风险
原创

网络爬虫的风险

随着互联网的发展,网络爬虫也越来越多,爬虫本身是一种网络技术,所以爬虫不是违法的技术。如果使用爬虫技术去做违法项目,例如:色情,赌博等违法业务,一旦发现就会触碰法律的禁止。

爬虫类型:

1、数据量小对爬取速度不敏感的可以使用request库实现网页爬虫

2、对数据要求规模较大,爬取速度敏感的可以使用Scrapy库实现网页采集

3、大数据采集,需要一定的研发团队开发,例如:电商,搜索引擎爬虫等

爬虫涉及的问题:

性能骚扰:爬虫快速访问服务器,超过了人类访问速度,对网站管理者来说就造成骚扰

法律风险:每个网站上的数据都有产权归宿,如果通过爬虫获取到的数据从中获利的话会有一定的法律风险

隐私泄露:网络爬虫会突破网站的限制,获取数据,造成了网站的隐私泄露

爬虫规避方式:

1、遵守网站robots协议

2、优化爬虫程序

3、禁止采集个人信息和隐私信息

爬虫限制:

任何一个网站都会有反爬限制,请求网站时,目标网站会检查HTTP请求的User-Agent,因为ua是浏览器标识,如果http请求没有ua,或ua太少,都会被网站运维统计异常的。这种情况,加上User-Agent,表明你是浏览器访问即可

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.1276.73 Safari/537.36', 'Referer':'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=nike'}
response = requests.get(url=url, headers=headers)

#! -*- encoding:utf-8 -*-

        import requests
        import random

        # 要访问的目标页面
        targetUrl = "http://httpbin.org/ip"

        # 要访问的目标HTTPS页面
        # targetUrl = "https://httpbin.org/ip"

        # 代理服务器(产品官网 www.16yun.cn)
        proxyHost = "t.16yun.cn"
        proxyPort = "31111"

        # 代理隧道验证信息
        proxyUser = "username"
        proxyPass = "password"

        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
            "host" : proxyHost,
            "port" : proxyPort,
            "user" : proxyUser,
            "pass" : proxyPass,
        }

        # 设置 http和https访问都是用HTTP代理
        proxies = {
            "http"  : proxyMeta,
            "https" : proxyMeta,
        }


        #  设置IP切换头
        tunnel = random.randint(1,10000)
        headers = {"Proxy-Tunnel": str(tunnel)}

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python爬虫利用代理IP分析大数据

    在这个互联网时代,HTTP代理成了不可缺少的一部分,我们都知道IP代理商也越来越多。那如何选择代理商成了大家选择的难题。其实爬虫用户完全可以通过代理IP的有效时...

    用户6172015
  • Scrapy制作爬虫

    用户6172015
  • HTTP协议的请求与数据抓包

    输入目标网站,通过http发出GET请求或者POST请求,通过代码找到相应的函数,返回一个相关数据。

    用户6172015
  • 如果你不知道做什么,那就学一门杂学吧

    多年以后,面对人工智能研究员那混乱不堪的代码,我会想起第一次和S君相见的那个遥远的下午。那时的B公司,还是一个仅有6个人的小团队,Mac和显示器在桌上依次排开,...

    青南
  • 大规模爬虫流程总结

    爬虫是一个比较容易上手的技术,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫,完全就是另一回事,并不是1*n这么简单,还会衍生出许多别的问题。...

    小莹莹
  • Python 网络爬虫概述

    几乎每个网站都有一个名为robots.txt的文档,当然也有有些网站没有设定。对于没有设定robots.txt的网站可以通过网络爬虫获取没有口令加密的数据,也就...

    Python知识大全
  • Python 爬虫学习一

    简单来说网络爬虫就是自动索引互联网上信息的一段程序,看起来像是一个搜索引擎「实际上网络爬虫就是搜索引擎的重要组成部分」,对于我们不做搜索引擎的人来说又为什么来学...

    keinYe
  • 如何高效学习Python爬虫技术?

      学Python网络爬虫时先了解Python基本常识,变量、字符串、列表、字典、元组、操控句子、语法等,把基础打牢,在做案例时能知道运用的是哪些知识点。此外还...

    python学习教程
  • python技术是学习web开发还是做爬虫好?

    网络爬虫是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。下面是小编为您整理的关于python做web还是做爬虫,希望对你有所帮助。

    python学习教程
  • python爬虫了解第一篇

    py3study

扫码关注云+社区

领取腾讯云代金券