Python爬虫——UserAgent

我们在使用爬虫的时候，经常会被识别是爬虫被拦截下来。我们通过需要去设置HHTP访问头部来骗过那些反爬虫程序。

今天我们就来讲一下，快速设置你的UserAgent!

目录：

使用fake-useragent包

1.安装fake-usragent

2.实现

3.设置成某个浏览器的UserAgent

例如设置成Chrome的

例如设置成firefox的

在Scrapy中实现随机UserAgent

方法一：直接在程序中添加UserAgent

方法二：在middlewares中添加UserAgent

方法三：直接在sttings文件里面上设置UserAgent

使用fake-useragent包

fake-useragent包含了大量的UserAgent可以随意进行替换

1.安装fake-usragent

2.实现

这样每次就可以随机用不同的UserAgent去访问网站，你的爬虫也没那么容易被封了

3.设置成某个浏览器的UserAgent

例如设置成Chrome的

例如设置成Firefox的

在Scrapy中实现随机UserAgent

方法一：直接在程序中添加UserAgent

方法二：在middlewares中添加UserAgent

（1）在process_request(）方法里面，添加一下代码

（2）然后把settings文件里面默认的UserAgent关闭掉

第一次运行

第二次运行

可以看到两次运行的UserAgent都是不一样的，表示我们的随机UserAgent也是设置成功了

方法三：直接在sttings文件里面上设置UserAgent

（1）在settings文件里面添加两行代码

第一次运行

第二次运行

可以看到两次的结果都是不一样的，说明我的的随机UserAgent已经是设置成功了呢！

好了，以上就是设置随机UserAgent的方法啦，希望对您有所帮助吧！

希望每天叫醒你的不是闹钟和迫于生活的压力而是梦想！

加入我们一起学习吧！