前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >多线程提升重装/重置CVM效率

多线程提升重装/重置CVM效率

原创
作者头像
wainsun
发布2023-09-15 14:27:24
1770
发布2023-09-15 14:27:24
举报
文章被收录于专栏:伟哥专栏

CVM重装实例中,InstanceID只能输入一个,这就会导致如果要批量重装实例的话,默认只能循环顺序重装。由于重装实例相对较为耗时,这就会导致整个队列的耗时增加。

默认创建100个测试CVM,做循环重置,耗时314秒,每个实例平均耗时3秒左右。

在python中,开启多线程方式,可以大幅提高队列的重装效率。

开启5个线程并发重装实例。所用耗时为54秒,可提升效率达82.8%

开启10个线程并发重装实例。所用耗时为29秒,可提升效率达90.7%

ResetInstance接口的QPS为10次/秒。按照每个接口执行一次所需3秒左右的时间,所以理论上最多建议使用3*10个线程跑。不过为了稳妥一些,这里就建议10个线程跑比较稳定,而且也可以大幅的缩小所需时间。

相关脚本代码如下:

代码语言:javascript
复制
import threading
import time
from ResetCVM import *
from mysql_logic import *

exitFlag = 0

insall= SelectSQL(None,"ResetCVM",Flag=0)
#这里是通过一个sql数据集获取需要重装的CVM列表,也可以通过业务逻辑得到。

dic=dict()
#这里通过一个内存数组保存ins列表信息,并通过popitem()在每次线程任务执行完毕后自动清除。确保线程队列不会将重复实例并发执行。
for i in insall:
    dic.update({str(i[1]):str(i[5])})

start_time = time.time()

class myThread (threading.Thread):
    def __init__(self, threadID, name):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
    def run(self):
        print ("重置任务开始线程:" + self.name)
        #time.sleep(1)
        print_time(self.name, 10)
        #time.sleep(1)
        print ("重置任务退出线程:" + self.name)

def print_time(threadName, counter):
    while counter:
        if exitFlag:
            threadName.exit()
        
        while len(dic)>0:    
            ins = dic.popitem()[0]
            print (ins)
            ResetCVM(ins)
        #print ("%s: %s" % (threadName, time.ctime(time.time())))
        counter -= 1

def ResetIns():
    # 创建新线程,这里根据业务需要,自定义来控制线程数量
    thread1 = myThread(1, "Thread-1")
    # 开启新线程
    thread1.start()
    thread1.join()
    print ("退出主线程")    
    end_time = time.time()
    print("耗时: {:.2f}秒".format(end_time - start_time))

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档