首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

爬虫0020:urllib2操作urllib2的使用

urllib2的使用 目录清单 入门程序了解爬虫采集数据步骤 底层操作Request对象 请求头设置之UserAgent用户代理 请求头设置 用户代理——UserAgent 自定义请求头消息 请求方式之...程序清单:demo01.py # -*- coding:utf-8 -*- # 添加指定编码的注释,表示当前源代码支持中文操作 import urllib2 # 引入需要的模块 response =...上述程序我们了解了爬虫程序的操作步骤,底层操作过程中其实是将请求和响应两部分都是分步骤进行的: # -*- coding:utf-8 -*- # 添加 注释,指定当前源代码支持中文操作 from urllib2...,将爬虫程序发送的请求伪造程浏览器发送的请求,通过设置请求中的UserAgent就可以实现 # 添加注释,源代码支持中文 # -*- coding:utf-8 -*- # 引入需要的模块 from urllib2...鉴于此,我们也可以自定义openr的实现过程: # -*- coding:utf-8 -*- import urllib2 # 引入需要的模块 handler = urllib2.HTTPSHandler

70730
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    解决ModuleNotFoundError: No module named urllib2

    'urllib2'​​这个错误。...urllib.request​​包含了​​urllib2​​的大部分功能。 首先,您需要将​​urllib2​​导入的代码改为导入​​urllib.request​​模块。...然而,在升级到Python 3后,使用旧的​​urllib2​​​库会出现​​ModuleNotFoundError: No module named 'urllib2'​​​的错误。...下面详细介绍​​​urllib2​​模块的一些重要功能和用法:1. 发送GET请求使用​​urllib2​​模块发送GET请求,可以通过​​urlopen​​函数来实现。...以上是对​​urllib2​​库的一些简单介绍和示例。通过使用​​urllib2​​库,我们可以方便地处理HTTP请求和响应,获取数据并进行相应的处理。

    58040

    Python urllib2和urllib的使用

    urllib2是在Python2标准库中的,无需安装即可使用,在Python3中不能使用urllib2,在Python3中urllib2被改为了urllib.request,所以本文中的代码在Python3...中运行时,把urllib2替换成urllib.request,得到的结果是一样的。...一、使用urllib2获取数据 # coding=utf-8 import urllib2 response = urllib2.urlopen("http://www.baidu.com") print...这时候需要在url中拼接查询字符串,Python的urllib库提供了urlencode方法来将字典转换成查询字符串,而urllib2没有urlencode,所以可以通过urllib生成查询字符串来给urllib2...使用urllib2发送请求时,我们并不需要声明使用的是GET请求还是POST请求,当我们给Request对象传入了data参数,urllib2就会自动以POST方式发送请求。

    1K40

    Python:urllib2模块的URLError与HTTPError

    urllib2 的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时,如果urlopen或opener.open不能处理这个response,就产生错误。...下面的例子里我们访问了一个不存在的域名: # urllib2_urlerror.py import urllib2 requset = urllib2.Request('http://www.ajkfhafwjqh.com...注意,urllib2可以为我们处理重定向的页面(也就是3开头的响应码),100-299范围的号码表示成功,所以我们只能看到400-599的错误号码。...# urllib2_httperror.py import urllib2 requset = urllib2.Request('http://blog.baidu.com/itcast') try...改进版 由于HTTPError的父类是URLError,所以父类的异常应当写到子类异常的后面,所以上述的代码可以这么改写: # urllib2_botherror.py import urllib2

    2.3K10

    python爬虫入门(一)urllib和urllib2

    了解了这些知识后,接下来真正迈向爬虫之路....... urllib2 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。...在Python中有很多库可以用来抓取网页,先学习urllib2。...urllib2模块直接导入就可以用,在python3中urllib2被改为urllib.request 开始爬虫需要准备的一些工具 (1)下载Fiddeler抓包工具,百度直接下载安装就可以(抓包) (...的主要区别  urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能,最显著的区别如下: (1)urllib仅可以接受URL,不能创建,设置headers的request类实例;...(2)但是urllib提供urlencode()方法用来GET查询字符串的产生,而urllib2则没有(这是urllib和urllib2经常一起使用的主要原因) (3)编码工作使用urllib的urlencode

    1.9K60

    python爬虫(七)_urllib2:urlerror和httperror

    urllib2的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时,如果urlopen或opener.open不能处理这个response,就产生错误。...#urllib2_urlerror.py import urllib2 request = urllib2.Request("http://www.sdfsdfsf.com") try: urllib2...注意,urllib2可以为我们处理重定向的页面(也就是3开头的响应码),100-299范围的号码表示成功,所以我们只能看到400-599的错误号码 #-*- coding:utf-8 -*- #23.urllib2..._urllib2_httperror.py import urllib2 request = urllib2.Request("http://blog.baidu.com/itcast") try...的父类是URLError,所以父类的异常应当写到子类异常的后面,所以上述的代码可以这么改写: #-*- coding:utf-8 -*- #24.urllib2_botherror.py import urllib2

    2.3K80
    领券