爬虫小白:03.requests的使用

    Requests的请求不再像urllib一样需要去构造各种Request、opener和handler，直接使用Requests构造的方    
法，并在其中传入需要的参数即可。
    
   每一个请求方法都有一个对应的API：

    response = requests.get('http://httpbin.org/get')
    print(response)      #返回的是<Response [200]>。
    print(response.text) #获取响应内容,一般情况下会自动解码成字符串

   #当然我们也可以通过response.encoding指定编码格式
    response.encoding = 'utf-8'
    print(response.encoding)    #通过这看编码格式

    response = requests.post('http://httpbin.org/post',data = {'key':'value'})
    print(response.text)

   '''
      其实data就是要填入表单的数据,说到这是不是和urllib3中post请求的fields参数一样是字典且填入form表
      单，而get请求的fields参数是直接作为查询参数添加到url后。
    '''

    通过Requests发起请求获取到的是一个 requests.models.Response 对象,通过这个对象我们可以很方便的获取响应的内容。
    之前通过 urllib 获取的响应的内容都是 bytes的二进制格式，需要我们自己去将结果 decode()一次转换成字符串数据。而Requests通过text属性，就可以获得字符串格式的响应内容。
    例1:
    response = requests.get('http://www.quanshuwang.com')
    print(response.text)
    
    #回忆一下乱码怎么办，response.encoding = '**',**得看html中得charset是什么。
    response.encoding = 'utf-8' #字符编码

    *若想要获得原始得二进制数据，比如说图片，使用 content 属性即可。
    例1:爬取图片,如图 2-1、2-2。
        response = requests.get('图片地址')
        with open('image.jpg','wb') as f:
            f.write(response.content)

    *若访问之后获取的是json数据，那么我们可以使用 json() 方法，直接获取转换成字典格式的数据。
    例1:爬取图片
        
        response = requests.get('http://httpbin.org/get')
        print(response.json())
        print(type(response.json() ) )

    *通过 status_code 属性获取响应的状态码.
    例1:     
        response = requests.get('')
        print(response.status_code)  

    *通过 headers 属性获取响应的报头。
    例1:
        response = requests.get('')
        response.headers        #快捷方式 
        response.request.headers #完整写法
        print(type(response.headers))
        #返回的是<class 'requests.structures.CaseInsensitiveDict'>
        
        print(response.headers['Set-COOKIE']) #注意键名不区分大小写，键值是区分的。

    *通过 cookies 属性获取服务器返回的Cookies。
    例1:
        # http://httpbin.org/get没有cookie
        response = requests.get('http:/www.baidu.com')
        print(response.cookies)      

    #通过 url 属性查看请求的 url。
    print(requests.url )  #返回请求url，这个是快捷方式。

    response.request.url  #响应是没有url的，只有数据

    例、
    img_url = "https://zhidao.baidu.com"
    response = requests.get(url = img_url)

    例1:
        
        args = {'key1':'好好学习','key2':'天天向上'}
        response = requests.post('http://httpbin.org/post',params = args )
        print(response.text)        #获取响应数据,为字符串类型。
        print(response.request.url) #看拼接的结果
        print(response.url)         #

        例1:
            args = {'key1': 'value1', 'key2': ['value2', 'value3']}
            response = requests.get('http://httpbin.org/get', params=args)
            print(response.url)
            结果: http://httpbin.org/get?key1=value1&key2=value2&key2=value3

     info = {'username':'wsq','password':'123'}               
     response = requests.post('http://httpbin.org/post',data = info)            

    *若想自定义请求的Headers，同样的将字典数据传递给headers参数。
    例:
    headers = {'Www':'wWqQ'}
    response = requests.post('http://httpbin.org/post',data = info,params = args 
                                                        headers = headers)
    #只需填一个参数即可，注意是字典格式
    print(response.request.headers)#查看请求头

    print(response.request.headers['wWw'])#查看请求头中某一个键值,注意键名不区分大小写而键值是区分                                             的。

    例:
    cookie = {'key1': 'value1'}
    response = requests.post('http://httpbin.org/post',data = info,params = args 
                                                        headers = headers,
                                                        cookies = cookie) 
    print(response.cookies)#看它的cookie,若没设置返回的是<RequestsCookieJar[]>是空的。

    例1:
    proxy = {
        'http':'http://182.11.66.999:8000'
        #这里可以有很多个http或者https，这就涉及了代理池。
    }
    response = requests.get('http://httpbin.org/ip',proxies = proxy)
    #用代理发送get请求到ip接口
    print(response.text) #这时返回的是ip地址，这个ip就是代理的，保护了自身ip。

    例1:
        response = requests.get('http://github.com')
        print(response.url)#这时显示的是https的地址
        
        response = requests.get('http://github.com',allow_redirects=False)
        #加上参数allow_redirects并赋值为False,意味着不允许重定向。
        print(response.text)#这个打印的结果是没有的,
        print(response.headers)#响应头中会看到键名为Location的键值对,这就是重定向地址,在JS中....如                               图6-1、6-2

    例1:
        response = requests.get('https://www.quanshuwang.com')
        print(response.text)#会出现 SSLError 错误，如图7-1
        #当我们加上verify 参数时就好了
        response = requests.get('https://www.quanshuwang.com',verify = False)
        print(response.text)        

    例1:
    response = requests.get('http://github.com',timeout = 0.001)
    print(response.text)
    #若超时会出现:requests.exceptions.ConnectTimeout

    例:
    json = {'华夏':'豪杰'}
    response = requests.get('http://github.com',json = json)
    print(response.text)