获取用户代理的多种方式

生信修炼手册

发布于 2020-11-25 11:14:16

4920

发布于 2020-11-25 11:14:16

文章被收录于专栏：生信修炼手册生信修炼手册

欢迎关注”生信修炼手册”!

用户代理可以将普通的爬虫请求伪装成浏览器发出的请求，从而绕过目标网站的反扒机制。获取用户代理，最基本的方式就是在自己的浏览器中进行查看，图示如下

这样的方式简洁直观，但是只能获取有限个用户代理，毕竟一般人的电脑上都只有屈指可数的浏览器。

当需要构建一个数量庞大的用户代理池时，一个个获取用户代理的方式显然不可取，此时，我们就需要借助第三方工具来实现

1. python 模块

python的生态环境包容万物，自然也有人提供了对应功能的模块。首先就是Faker这个模块，该模块用于提供高质量的随机数据，提供用户代理只是它其中一小部分的功能，用法如下

>>> from faker import Faker
>>> f = Faker()
>>> f.chrome()
'Mozilla/5.0 (Linux; Android 7.1) AppleWebKit/532.2 (KHTML, like Gecko) Chrome/39.0.821.0 Safari/532.2'
>>> f.chrome()
'Mozilla/5.0 (Windows 98; Win 9x 4.90) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/23.0.862.0 Safari/532.0'
>>>
>>> f.firefox()
'Mozilla/5.0 (Windows NT 4.0; be-BY; rv:1.9.1.20) Gecko/2018-04-10 04:32:05 Firefox/3.6.1'
>>>
>>> f.internet_explorer()
'Mozilla/5.0 (compatible; MSIE 9.0; Windows 98; Win 9x 4.90; Trident/3.1)'
>>>
>>> f.opera()
'Opera/9.32.(Windows NT 6.0; dv-MV) Presto/2.9.164 Version/10.00'
>>>
>>> f.safari()
'Mozilla/5.0 (Windows; U; Windows 98) AppleWebKit/535.30.3 (KHTML, like Gecko) Version/5.1 Safari/535.30.3'
>>>
>>> f.user_agent()
'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_1; rv:1.9.6.20) Gecko/2016-09-11 17:33:17 Firefox/3.6.3'

调用简单，支持谷歌，火狐，IE等多款浏览器，与python爬虫程序完美嵌合。

2. 浏览器插件

浏览器插件极大地丰富了浏览器的功能，构建了庞大的插件生态。在谷歌浏览器中，用一款插件，提供了用户代理的切换和管理功能，名称如下