专栏首页叁金大数据更新换代之requests库

更新换代之requests库

      好久不更新博客了。。。

之前的博文都是通过urllib2进行http访问,接下来我要说一个利器啊!requests模块,无法用语言对他进行赞扬了,需要的,有兴趣的,可以去了解下,移步官方中文文档:

Requests: 让 HTTP 服务人类

简直是不要太刁。。。

      这篇博文呢,主要是将之前博文中用urllib2写的HttpClient类换成request。代码如下:

# coding=utf-8
from __future__ import unicode_literals
import requests
from io import StringIO


class HttpClient:
    def __init__(self):
        pass
    __headers = {
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0',
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        # 'Host':'www.xiami.com'
        }
    __proxies = {
          # "http": "http://10.10.1.10:3128",
          # "https": "http://10.10.1.10:1080",
        }

    def get(self, url, params=None, retries=3):
        try:
            req = requests.get(url, headers=self.__headers, timeout=30, params=params,
                               proxies=self.__proxies)
            req.raise_for_status()
            return req.text
        except Exception,e:
            print e
            if retries > 0:
                return self.get(url, params, retries - 1)
            else:
                print "Get Failed", url
                return ''

    def post(self, url, data=None, retires=3):
        try:
            req = requests.post(url, headers=self.__headers, timeout=30, data=data,
                                proxies=self.__proxies)
            req.raise_for_status()
            return req.text
        except Exception,e:
            print e
            if retires > 0:
                return self.post(url,data,retires - 1)
            else:
                print "Post Failed", url
                return ''

    def download(self, url, file_name, params=None, cookies=None):
        try:
            req = requests.get(url, headers=self.__headers, params=params,
                               proxies=self.__proxies)
            output = open(file_name, 'wb')
            output.write(req.content)
            output.close()
        except Exception,e:
            print 'error',e

    def get_cookies(self, url, key, params=None):
        try:
            req = requests.get(url, headers=self.__headers, timeout=30, params=params,
                               proxies=self.__proxies)
            req.raise_for_status()
            return req.cookies.get(key,'')
        except Exception,e:
            return ''

    def get_headers(self, url, key, params=None):
        try:
            req = requests.get(url, headers=self.__headers, timeout=30, params=params,
                               proxies=self.__proxies)
            req.raise_for_status()
            return req.headers.get(key)
        except Exception,e:
            return ''

  记录一下,后面会时常更新博文的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 快速搭建Hadoop及HBase分布式环境

    之前的博文都是通过urllib2进行http访问,接下来我要说一个利器啊!requests模块,无法用语言对他进行赞扬了,需要的,有兴趣的,可以去了解下,移步官...

    叁金
  • 存储是怎样炼成的?

    什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。

    叁金
  • 自学Python九 爬虫实战二

      作为一个新世纪有思想有文化有道德时刻准备着的屌丝男青年,在现在这样一个社会中,心疼我大慢播抵制大百度的前提下,没事儿上上网逛逛YY看看斗鱼翻翻美女图片那是必...

    叁金
  • 快速搭建Hadoop及HBase分布式环境

    之前的博文都是通过urllib2进行http访问,接下来我要说一个利器啊!requests模块,无法用语言对他进行赞扬了,需要的,有兴趣的,可以去了解下,移步官...

    叁金
  • 配置SharePoint 2013 Search 拓扑结构

    在单台服务器上安装了 SharePoint Server 2013,并且创建了具有默认搜索拓扑的 Search Service 应用程序。在默认搜索拓扑中,所...

    用户1161731
  • JVM学习记录-类加载时机

    虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是类的加载机制。

    纪莫
  • 智能合约中的“高铁座霸”|存储器局部变量未初始化——漏洞分析连载之七

    我们在上一期的区块链游戏漏洞的汇总和分析中将目前游戏合约出现的问题与前几期的漏洞连载分析进行了联动,发现游戏合约的漏洞很大一部分是在重复之前代币合约的重大错误。...

    区块链大本营
  • 虚拟机的类加载机制1 类加载的时机

    JavaEdge
  • Java编程思想学习录(连载之:初始化与清理)

    CodeSheep
  • 神经网络到底该如何初始化?吴恩达Deeplearning.ai最新干货

    初始化会对深度神经网络模型的训练时间和收敛性产生重大影响。简单的初始化方法可以加速训练,但使用这些方法需要注意小心常见的陷阱。本文将解释如何有效地对神经网络参数...

    abs_zero

扫码关注云+社区

领取腾讯云代金券