python爬虫学习（3）——requests实战1（UA检测和UA伪装）

用户10922923

发布于 2024-05-30 12:49:43

780

发布于 2024-05-30 12:49:43

文章被收录于专栏：兵马俑的CSDN兵马俑的CSDN

520那天我向心仪的女孩要微信：“女神，能给我你的微信号吗？” 女神：“给我——爬！！！！” 从那天开始，我就决定要学好爬虫，爬到女神微信号！！！

文章目录

一、UA检测和UA伪装是什么？
- UA检测：
- UA伪装：
二、使用步骤
- 1.引入库
- 2、完整代码（web采集器）
- `

一、UA检测和UA伪装是什么？

UA检测：

UA检测是指服务器端对客户端请求中的User-Agent字段进行分析，以识别客户端使用的浏览器类型、版本、操作系统等信息。

UA伪装：

UA伪装则是指修改或伪造请求中的User-Agent字段，使服务器端识别为另一款浏览器或设备。就是模拟浏览器；

二、使用步骤

1.引入库

import requests ``

2、完整代码（web采集器）

该处使用的url网络请求的数据。

if __name__=="_main__":
    #UA伪装：将对应的user-agent信息封装到headers(字典)中
    headers={
        'User-Agent':' 伪装网站的'
    }
    url =' +想弄的网站 '
    #处理url携带的参数：封装到字典中
    kw=input("enter a word:")
    param={
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数（三个参数）
    response=requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    fileName =kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功')