Python爬虫—-网页下载器和urllib2模块及对应的实例

全栈程序员站长

发布于 2022-08-24 15:56:49

3260

发布于 2022-08-24 15:56:49

文章被收录于专栏：全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

网页下载器：将互联网上URL对应的网页下载到本地的工具，是爬虫的核心组件

urllib2下载网页的三种方法

对应实例代码如下：

#coding:utf8

import urllib2  
     
url =  'http://www.baidu.com'

print '第一种方法 --> 直接请求 '
response1 = urllib2.urlopen(url)  
      
#获取状态码，如果是200表示获取成功  
print response1.getcode()  
      
# 获取读取到的内容的长度 
print len(response1.read() )

第一种方法 –> 直接请求 200 4305

#coding:utf8

import urllib2  
     
url =  'http://www.baidu.com'

print '第二种方法：'
#创建Request对象
request= urllib2.Request(url)

#添加http的header
request.add_header('User-Agent' , 'Mozilla/5.0')

# 发送请求获取结果
response2 = urllib2.urlopen(request)

print response2.getcode()
print len(response2.read())

第二种方法： 200 4305

#coding:utf8

import urllib
import urllib2
import cookielib 
     
url =  'http://www.baidu.com'

print '第三种方法：'

#创建cookie容器
cj = cookielib.CookieJar()

#创建1个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

# 给urllib2安装opener
urllib2.install_opener(opener)

# 使用带有cookie的urllib2访问网页
response3 = urllib2.urlopen(url)

print response3.getcode()
print cj
print response3.read()

第三种方法：
200
<CookieJar[]>
<!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN” “http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”>
<html xmlns=”http://www.w3.org/1999/xhtml”>
<head>
……

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/140793.html原文链接：https://javaforall.cn

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022年5月8，如有侵权请联系 cloudcommunity@tencent.com 删除

https