前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GIL与异步回调

GIL与异步回调

作者头像
小小咸鱼YwY
发布2019-07-24 16:46:54
8940
发布2019-07-24 16:46:54
举报
文章被收录于专栏:python-爬虫python-爬虫

07.07自我总结

一.GIL

1.概念

在CPython中,这个全局解释器锁,也称为GIL,是一个互斥锁

2.带来的问题

首先必须明确执行一个py文件,分为三个步骤

  1. 从硬盘加载Python解释器到内存
  2. 从硬盘加载py文件到内存
  3. 解释器解析py文件内容,交给CPU执行
  • 当进程中仅存在一条线程时,GIL锁的存在没有不会有任何影响
  • 当有多个进程的时候,多个进程会争抢python解释器,这时候为了数据安全我们会上锁,从而让两个同时运行的程序从并发状态变成串行影响了程序的速度

3.GIL与GC进程的关系

GC进程当内存占用达到某个阈值时,GC会将其他线程挂起,然后执行垃圾清理操作,垃圾清理也是一串代码,也就需要一条线程来执行。

GIL的加锁与解锁时机

加锁的时机:在调用解释器时立即加锁

解锁时机:

  • 当前线程遇到了IO时释放
  • 当前线程执行时间超过设定值时释放

二.异步回调

同步

指的是 提交任务后必须在原地等待 直到任务结束

异步

提交任务后不需要在原地等待 可以继续往下执行代码

异步效率高于同步 ,异步任务将导致一个问题 就是 任务的发起方不知道任务何时 处理完毕

解决方法:

  • 轮询 重复的隔一段时间就问一次 效率低 无法及时获取结果 不推荐
  • 让任务的执行方主动通知 (异步回调)可以及时拿到任务的结果 推荐方式
    • 多进程与多线程中相当于jion函数来告诉我们这个子有没有运行结束
    • 在队列中的jion来告诉我们队列有没有被取完
    • 在线程池与进程池中相当于result()来告诉我们有没有结束,且result还会打印方法的返回值 ​
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-07-07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一.GIL
    • 1.概念
      • 2.带来的问题
        • 3.GIL与GC进程的关系
        • 二.异步回调
        相关产品与服务
        对象存储
        对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档