专栏首页Bingo的深度学习杂货店Python 多进程队列处理耗时操作的模版

Python 多进程队列处理耗时操作的模版

问题:

requests.get(image_url).content 可以读取一个 image_url 中的内容,但是如果有多个 image_url,读取速度会比较慢。因此,可以利用多进程队列去处理。模板如下:

import requests
import json
import traceback
import multiprocessing as mp

queue_before_downloader = mp.Queue()  # 队列保存处理之前的数据
queue_after_downloader = mp.Queue()  # 队列保存处理之后的数据
num_workers = 10

def chunk(chunk_size=64, num_workers=10):  # chunk 一个 batch 的结果
  global args
  count_none = 0
  global queue_after_downloader
  ret = []
  while True:
    item = queue_after_downloader.get()
    if item is None:
      count_none += 1
      if count_none == num_workers:
        if len(ret) != 0:
          print('latest chunk')  # 最后一次chunk
          yield ret
        return
      continue
    ret.append(item)
    if len(ret) == chunk_size:
      yield ret
      ret = []


def process_sample():  # 一次解析一个url数据,耗时的函数
  global queue_before_downloader
  global queue_after_downloader

  while True:
    info = queue_before_downloader.get()
    if info is None:  # 最后的处理
      print ('put None')
      queue_after_downloader.put(None)
      break
    
    try:
      result  = requests.get(url).content
    except:
      continue

    queue_after_downloader.put(result)   # 解析后的结果再放入队列


def read_json():
    global queue_before_downloader

    with open('xxx.json', 'r') as f:
        lines = f.readlines()
    lines = [json.loads(x) for x in lines]
    print(len(lines))

    for _line in lines:
        queue_before_downloader.put(_line['url'])  # 把 url 保存在 before 队列之中

def main():

    start = time.time()

    global num_workers

    # 读取json文件中图像的url,放入多线程队列中
    read_json()

    global queue_before_downloader
    for _ in range(num_workers):   # 准备多个workers一起干活
        queue_before_downloader.put(None)

    processes = []
    for _ in range(num_workers):
        process = mp.Process(target=process_sample)   # 多进程处理函数
        processes.append(process)

    for process in processes:   # 启动进程
        process.start()
    
    num_completed = 0

    for _idx, items in enumerate(chunk(64, num_workers)):   # chunk 一个 batch 处理后的数据
        try:
            urls = items  # pairs; [url1, url2, ...,url64]
            num_completed += len(urls)
            print('--- {} : {} completed ---'.format(_idx+1, num_completed))
     
        except:
            #traceback.print_exc()
            continue

    for process in processes:   # 回收进程
        process.join()

if __name__ == "__main__":
    main()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫学习之第四章爬虫进阶之多线程爬虫

    有些时候,比如下载图片,因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。

    py3study
  • 一行 Python 代码实现并行

    译者:caspar 译文:https://segmentfault.com/a/1190000000414339 原文:https://medium.com/b...

    企鹅号小编
  • Django 2.1.7 集成Celery 4.3.0 从介绍到入门

    我们在做网站后端程序开发时,会碰到这样的需求:用户需要在我们的网站填写注册信息,我们发给用户一封注册激活邮件到用户邮箱,如果由于各种原因,这封邮件发送所需时间较...

    Devops海洋的渔夫
  • Redis必知必会知识点

    Redis,全名REmote DIctionary Server,开源的高性能的KV内存数据库,支持数据持久化。 开源的支持多种数据结构的基于键值的存储服务系...

    JavaEdge
  • 一行 Python 代码实现并行,骚技能,Get!

    Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题,例如线程的实现和 GIL,我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、...

    一墨编程学习
  • 爬虫还在用Python?我与Node.js不得不说的故事

    大数据文摘
  • 荐读|爬虫还在用Python?我与Node.js不得不说的故事

    深夜闲来无事,默默的打开github,在搜索框中填入了”Stars:>1”,本想着依旧可以在第一页看到Spark的身影,结果第一个映入眼帘的是这个: ? 快速...

    灯塔大数据
  • 【干货】TensorFlow 高阶技巧:常见陷阱、调试和性能优化

    【新智元导读】文本将介绍一些 TensorFlow 的操作技巧,旨在提高你的模型性能和训练水平。文章将从预处理和输入管道开始,覆盖图、调试和性能优化的问题。 预...

    新智元
  • Python介绍RabbitMQ使用篇二

    上一篇我们使用C#语言讲解了单个消费者从消息队列中处理消息的模型,这一篇我们使用Python语言来讲解多个消费者同时工作从一个Queue处理消息的模型。

    py3study
  • Python 进程、线程和协程实战指南

    前些日子写过几篇关于线程和进程的文章,概要介绍了Python内置的线程模块(threading)和进程模块(multiprocessing)的使用方法,侧重点是...

    Python编程与实战
  • python的进程与线程

      进程是指运行中的应用程序,每个进程都有自己独立的地址空间(内存空间)。比如用户点击桌面的IE浏览器,就启动了一个进程,操作系统就会为该进程分配独立的地址空间...

    步履不停凡
  • Python 多线程操作

    线程(Thread)也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。线程自己不拥有系统资源,只拥有一点儿在运行...

    somenzz
  • 《Python分布式计算》 第3章 Python的并行计算 (Distributed Computing with Python)多线程多进程多进程队列一些思考总结

    我们在前两章提到了线程、进程,还有并发编程。我们在很高的层次,用抽象的名词,讲了如何组织代码,已让其部分并发运行,在多个CPU上或在多台机器上。 本章中,我们会...

    SeanCheney
  • Tensorflow基础

    Tensorflow是Google推出的机器学习开源神器,对Python有着良好的语言支持,支持CPU,GPU和Google TPU等硬件,并且已经拥有了各种各...

    oYabea
  • 使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号

    不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓取百度贴吧发帖记录中的邮箱与...

    哲洛不闹
  • python 性能的优化

    NumPy的创始人Travis,创建了CONTINUUM,致力于将Python大数据处理方面的应用。 推出的Numba项目能够将处理NumPy数组的Pytho...

    黑白格
  • 分布式异步任务队列神器之-Celery

    最近研究了下异步任务神器-Celery,发现非常好用,可以说是高可用,假如你发出一个任务执行命令给 Celery,只要 Celery 的执行单元 (worker...

    somenzz
  • python如何支持并发方法详解

    由于GIL(Global Interpreter Lock)的存在使得在同一时刻Python进程只能使用CPU的一个核心,也就是对应操作系统的一个 内核线程,...

    砸漏
  • 【 Android 场景化性能测试专栏】方向与框架篇

    系列文章涉及场景化性能测试,包括耗电性能测试、内存泄漏测试、UI流畅度性能测试、app启动速度测试等。测试方案在实际应用中,已有不少产出,其本身具有可操作性强、...

    腾讯移动品质中心TMQ

扫码关注云+社区

领取腾讯云代金券