专栏首页技术开发——你我他Python 爬虫——随机UA

Python 爬虫——随机UA

导入爬虫的基本库函数

了解一下我们的Request headers: 包含更多有关要获取的资源或客户端本身信息的消息头。

import requests  # 常用的爬虫库

引入一个库来使用我们相关的请求消息头

from fake_useragent import UserAgent

这个需要安装相关的包,使用命令如下:

pip3  install fake-useragent

接下来就是如何使用的阶段了!

import requests
from fake_useragent import UserAgent

def getHtml(url):
    try:
        ua = UserAgent()
        # 随机UA
        headers = {'user-agent': ua.random}
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        print("爬取成功!")
        print(r.text)
    except Exception:
        print("爬取失败!")

url = "https://www.xmaven.cn"
getHtml(url)

展示结果如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实验四 Python函数编程实验

    函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段,它能够提高应用的模块性和代码的重复利用率。Python定义函数使用def关键字,格式如下:

    背雷管的小青年
  • 实验三 序列数据处理程序设计

    2、掌握字符串的输入和输出,会使用切片的方式访问字符串中的值,掌握常见的字符串的内建函数。

    背雷管的小青年
  • 实验二 Python语言基础实验

    2、掌握Python语言的数据类型、运算符、常量、变量、表达式和常用语句等基础知识。

    背雷管的小青年
  • 1.Python基础语法,他其实很贵!

    ITester软件测试小栈
  • Python 再牛,在字符串排序上还是被 Julia 和 R 碾压

    在《实例对比 Julia, R, Python,谁是狼语言?》我们简单介绍了 Julia 的背景,以及通过优化一个似然函数的参数 μ 和 σ,来对比 Julia...

    用户1737318
  • Perl开发的学习-3

    计算机作为一种计算工具,其优势在于执行重复任务和根据条件进行大量判断(因此循环语句,条件语句及顺序执行语句是计算机控制结构中基本语句,而与人类语言中句法完全不同...

    py3study
  • 一篇文章了解python常见内置异常报错

    我们在写python程序的时候经常会遇到一些报错信息(异常),有一些可能是人为进行的定义,有一些则是python内置的一些异常信息,接下来我们来了解一下这些常见...

    小雯子打豆豆
  • 手把手教你搭建个人网站五:WordPress搬家&备份

    建好基于WordPress的个人网站后,如果我们想整个搬到另一个服务器,应该怎么弄呢?为了预防不可预知情况的发生,我们又该如何备份网站信息呢? ? 备份Word...

    企鹅号小编
  • Flutter之通过AnimationController源码分析学习使用Animation

    他实际上就是一个抽象类,在dart里面抽象类可继承可实现,看源码知道,他主要的一个方法就是dispose,用于规定释放资源的方法

    rhyme_lph
  • 【Python基础】整数与浮点数

    Python中,我们除了要跟代码打交道外,还要处理很多的数字,用来做可视化、记录用户信息等等。所以Python会根据数字的用法,以不同的方式处理他们,常见的类型...

    DataScience

扫码关注云+社区

领取腾讯云代金券