专栏首页飞总聊ITPython缓存技术,装x新高度。

Python缓存技术,装x新高度。

点击

一段非常简单代码

普通调用方式

def console1(a, b):
    print("进入函数")
    return (a, b)

print(console1(3, 'a'))
print(console1(2, 'b'))
print(console1(3.0, 'a'))

很简单的一段代码,传入两个参数。然后打印输出。 输出结果

进入函数
(3, 'a')
进入函数
(2, 'b')
进入函数
(3.0, 'a')

使用某个装饰器后

接下来我们引入functools模块的lru_cache,python3自带模块。

from functools import lru_cache
@lru_cache()
def console2(a, b):
    print("进入函数")
    return (a, b)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))

ほら、惊喜来了。

进入函数
(3, 'a')
进入函数
(2, 'b')
(3, 'a')

我们发现,少了一次进入函数的打印,这是怎么回事呢? 这就是接下来要说的LRU缓存技术了。

我们理解下什么是LRU

LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时,新的元素加入队列时,需要从现有队列中移除一个元素,LRU 策略就是将最近最少被访问的元素移除,从而腾出空间给新的元素。

python中的实现

python3中的functools模块的lru_cache实现了这个功能, lru_cache装饰器会记录以往函数运行的结果,实现了备忘 (memoization)功能,避免参数重复时反复调用,达到提高性能的作用,在递归函数中作用特别明显。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。

带参数的lru_cache

使用方法lru_cache(maxsize=128, typed=False) maxsize可以缓存最多个此函数的调用结果,从而提高程序执行的效率,特别适合于耗时的函数。 参数maxsize为最多缓存的次数,如果为None,则无限制,设置为2的n次幂时,性能最佳; 如果 typed=True,则不同参数类型的调用将分别缓存,例如 f(3) 和 f(3.0),默认False 因为 lru_cache 使用字典存储结果,而且键根据调用时传 入的定位参数和关键字参数创建,所以被 lru_cache 装饰的函数,它 的所有参数都必须是可散列的。 来一段综合代码:

from functools import lru_cache

def console1(a, b):
    print("进入函数")
    return (a, b)


@lru_cache()
def console2(a, b):
    print("进入函数")
    return (a, b)


@lru_cache(maxsize=256, typed=True)
def console3(a, b):
    '''

    :param a:
    :param b:
    :return:
    '''
    print("进入函数")
    return (a, b)


print(console1(3, 'a'))
print(console1(2, 'b'))
print(console1(3.0, 'a'))
print("*" * 40)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))
print("*" * 40)
print(console3(3, 'a'))
print(console3(2, 'b'))
print(console3(3.0, 'a'))

同样的可以用到爬虫的去重操作上,避免网页的重复请求。 在后期存储的时候做判断即可。

from functools import lru_cache
from  requests_html import HTMLSession
session=HTMLSession()
@lru_cache()
def get_html(url):
    req=session.get(url)
    print(url)
    return req

urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]

if __name__ == '__main__':
    for i in urllist:
        print(get_html(i))

输出

https://www.baidu.com
<Response [200]>
https://pypi.org/project/pylru/1.0.9/
<Response [200]>
<Response [200]>

ok,今天的内容就到这里,赶紧去试一试吧

本文分享自微信公众号 - 飞总聊IT(feiitworld)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SQL,想说爱你并不是太容易的事

    不少人留言和留消息,只有一位差不多触及到了问题在哪里。公布一下答案之前先把题目贴一下。 ? ? ? 这道题目里面的坑主要在null这个东西。我们都知道SQL是基...

    用户1564362
  • Python中有几种办法交换两个变量的值?

    小猿会从最基础的面试题开始,每天一题。如果参考答案不够好,或者有错误的话,麻烦大家可以在留言区给出自己的意见和讨论,大家是要一起学习的 。

    用户1564362
  • 总结100个Pandas中序列的实用函数

    在分享《Pandas模块,我觉得掌握这些就够用了!》后有很多读者朋友给我私信,希望分享一篇关于Pandas模块中序列的各种常有函数的使用。经过一段时间的整理,本...

    用户1564362
  • Python日志之Python控制流(顺

        Python中程序代码执行是有序的,有的代码程序会从上倒下按顺序执行,有的程序会跳转着执行,有的程序代码会选择不同的分支去执行,有的程序代码会循环的去执...

    py3study
  • python学习之numpy使用

    #NumPy数据库学习 #Numpy包含一下特点: ''' 1.强大的N维数组对象。 2.成熟的函数库。 3.用于集成c/c++和Fortran代码工具 4.实...

    py3study
  • 001.python科学计算库numpy(上)

    版权声明:本文为博主原创文章,允许转载,请标明出处。 https://blog.csdn.net/qwdafedv/article/deta...

    qubianzhong
  • 第三章 函数与变量

    玩蛇的胖纸
  • pyspark

    print("pyspark version"+str(sc.version)) map

    用户7625070
  • python 使用小结

    使用Python 已经一段时间了 ,现将python 中可能用到的技巧和一些知识点分享如下。

    LhWorld哥陪你聊算法
  • PHP基础——PHP数组

    其中,数字索引数组是指其key为数字,而后者可以使用字符串作为其key,这相当于map。

    zhaozhiyong

扫码关注云+社区

领取腾讯云代金券