提升python运行速度的一些技巧

大数据时代，Python 是目前使用最广泛的编程语言之一，它是一种解释型高级通用编程语言，具有广泛的用途，几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外，但在速度上还有一个非常大的缺点。虽然Python代码运行缓慢，但可以通过下面分享的5个小技巧提Python运行速度。 1、选择合适的数据库结构，使用正确的数据结构对python脚本的运行时间有显着影响。 2、善用强大的内置函数和第三方库，如果你正在使用python并且仍在自己编写一些通用函数，那建议可以试试 Python提供的库和内置函数来帮助你不用编写这些函数。 3、避免循环重复计算，如果你有一个迭代器，必须用它的元素做一些耗时计算，比如匹配正则表达式。你应该将正则表达式模式定义在循环之外，因为最好只编译一次模式，而不是在循环的每次迭代中一次又一次地编译它。只要有可能，就应该尝试在循环外进行尽可能多的运算，比如将函数计算分配给局部变量，然后在函数中使用它。 4、访问目标网站过程中多做反爬措施，尤其是一些比较有价值的网站对IP的要求很严。在访问的过程中需要加上高质量的IP。代理有很多的选择，比如使用隧道模式的代理。这里我们示例的亿牛云爬虫代理IP，简直的代理IP的添加方式如下：

Plain Text

复制代码

#! -*- encoding:utf-8 -*-

import requests

import random

# 要访问的目标页面

targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面

# targetUrl = "https://httpbin.org/ip"

# 代理服务器(产品官网 www.16yun.cn)

proxyHost = "t.16yun.cn"

proxyPort = "31111"

# 代理验证信息

proxyUser = "username"

proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

"host" : proxyHost,

"port" : proxyPort,

"user" : proxyUser,

"pass" : proxyPass,

}

# 设置 http和https访问都是用HTTP代理

proxies = {

"http" : proxyMeta,

"https" : proxyMeta,

}

# 设置IP切换头

tunnel = random.randint(1,10000)

headers = {"Proxy-Tunnel": str(tunnel)}

resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code

print resp.text

若有收获，就点个赞吧