Python爬虫--- 1.1请求库的安装与使用

$ pip install requests

$ pip list

#首先我们先导入requests这个包  
import requests  
#我们来吧百度的index页面的源码抓取到本地，并用r变量保存 
#注意这里，网页前面的 http://一定要写出来， 
#它并不能像真正的浏览器一样帮我们补全http协议  

r = requests.get("http://www.baidu.com")  
# 将下载到的内容打印一下：   
print(r.text)

#这个方法可以接收三个参数，其中第二个默认为None 第三个可选
def get(url, params=None, **kwargs)
#作用是模拟发起GET请求
Sends a GET request.
#模拟获取页面的url链接
:param url: URL for the new :class:Request object. 
#额外参数 字典或字节流格式，可选
:param params: (optional) Dictionary or bytes to be sent in the query string for the :class:Request. 
# 十二个控制访问参数，比如可以自定义header
:param **kwargs: Optional arguments that request takes. 
# 返回一个Response对象
:return: :class:Response <Response> object 
:type: requests.Response

kwargs: 控制访问的参数，均为可选项

params : 字典或字节序列，作为参数增加到url中

data : 字典、字节序列或文件对象，作为Request的内容 json : JSON格式的数据，作为Request的内容

headers : 字典，HTTP定制头

cookies : 字典或CookieJar，Request中的cookie

auth : 元组，支持HTTP认证功能

files : 字典类型，传输文件

timeout : 设定超时时间，秒为单位

proxies : 字典类型，设定访问代理服务器，可以增加登录认证

allow_redirects : True/False，默认为True，重定向开关

stream : True/False，默认为True，获取内容立即下载开关

verify : True/False，默认为True，认证SSL证书开关

cert : 本地SSL证书路径

url: 拟更新页面的url链接

data: 字典、字节序列或文件，Request的内容

json: JSON格式的数据，Request的内容

hd = {'User-agent':'123'}  
r = requests.get('http://www.baidu.com', headers=hd)  
print(r.request.headers)  
'''
OUT:
{'User-agent': '123', 'Accept-Encoding': 'gzip, deflate',   
  'Accept': '*/*', 'Connection': 'keep-alive'}  
'''

pxs = { 'http': 'http://user:pass@10.10.10.1:1234',      
         'https': 'https://10.10.10.1:4321' }  
r = requests.get('http://www.baidu.com', proxies=pxs)

'''
Response(self)

The :class:Response <Response> object, which contains a server's response to an HTTP request.

''' 

#HTTP请求的返回状态，比如，200表示成功，404表示失败  

print (r.status_code)  
#HTTP请求中的headers  

print (r.headers)  
#从header中猜测的响应的内容编码方式   

print (r.encoding)  
#从内容中分析的编码方式（慢）  

print (r.apparent_encoding)  
#响应内容的二进制形式#print (r.content)  

'''
status_code:200 

headers:
{'Server': 'bfe/1.0.8.18', 'Date': 'Tue, 02 May 2017 12:01:47 GMT', 'Content-Type': 'text/html', 'La
st-Modified': 'Mon, 23 Jan 2017 13:28:27 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-A
live', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no
-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding':
'gzip'}

encoding: ISO-8859-1

apparent_encoding:utf-8
'''

import requests

def getHtmlText(url):
    try:
        r = requests.get(url, timeout=30)        
        # 如果状态码不是200 则应发HTTOError异常
        r.raise_for_status()       
        # 设置正确的编码方式
        r.encoding = r.apparent_encoding()      
            return r.text    
    except:      
        return "Something Wrong!"