python爬虫在情感分析领域的应用

原创

小白学大数据

发布于 2023-05-17 08:05:34

46800

代码可运行

文章被收录于专栏：python进阶学习python进阶学习

运行总次数：0

代码可运行

爬虫可以涉及到生活的方方面面，今天我们来重点分析下在情感分析领域的使用是怎么样。

情感分析又叫意见挖掘, 是一个研究人们对某种事物，例如产品，话题，政策的意见，情绪或者态度的领域。随着网路上意见型数据的爆发，情感分析也被广泛研究和应用。

简单的一个应用的例子，某公司想调查自己在淘宝上销售的产品的受喜爱程度，就可以从产品评论入手，用一个训练好的分类器判断每个留下评论用户的对此产品的喜好态度，积极的或者是消极的评价，以此展开，充分挖掘文本内容。

Python爬虫在其中的作用是什么呢？

首选情感分析的第一步是获取数据，而网络尤其是社交网络是存在着丰富而易于获得的意见型数据资源。Python的开源爬虫库scrapy就很好用，这也是作为一个新手上手的首选库。

爬虫应用于实际的例子，比如这里我们爬取豆瓣的影评数据，选择豆瓣一是因为其丰富的语料资源和配备的打分体系，便于分类问题的标签获得。二是可以避开账户登录，限制少。思路是选取一部特定的电影，然后爬取其所有的短评和评分。这样后期文本就可以作为分类特征，评分则作为分类标签。这里以《满江红》为例子。豆瓣一直反爬机制还是很严的，特别是针对IP的访问限制，关于网站的各种反爬方式之前的文章分享了很多，这里我们直接通过配置代理访问数据，代理选择了由亿牛云提供的爬虫隧道加强版，关于使用方式这里一并分享给大家参考：

 #! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"

                # [版本>=2.6.2](https://docs.scrapy.org/en/latest/news.html?highlight=2.6.2#scrapy-2-6-2-2022-07-25)无需添加验证头,会自动在请求头中设置Proxy-Authorization     
                request.meta['proxy'] = "http://{0}:{1}@{2}:{3}".format(proxyUser,proxyPass，proxyHost，proxyPort)

                # 版本<2.6.2 需要手动添加代理验证头
                # request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
                # request.headers['Proxy-Authorization'] = 'Basic ' +  base64ify(proxyUser + ":" + proxyPass)                    

                # 设置IP切换头(根据需求)
                # tunnel = random.randint(1,10000)
                # request.headers['Proxy-Tunnel'] = str(tunnel)

                # 每次访问后关闭TCP链接，强制每次访问切换IP
                request.header['Connection'] = "Close"