专栏首页KaliArchPython实现腾讯云CDB备份文件自动上传到COS
原创

Python实现腾讯云CDB备份文件自动上传到COS

一、背景

  • 需求:目前遇到的客户需求为将腾讯云CDB备份文件自动上传到腾讯云COS内,再次抛砖引玉,还有很多类似的需求均可以采用此类方法解决,线下IDC数据文件备份至云端COS内,或根据文件下载地址url将文件上传至COS内。
  • 思路:首先获取到CDB的备份下载url,通过COS的API上传文件,大佬如有更好的方法欢迎一块讨论。

二、技术细节

  • COS:COS有API同时有SDK,这就很方便我们来通过Python对COS进行各类操作,COS SDK for Python
  • CDB:CDB有API但是CDB的查询备份下载没有对应的SDK,此时只能通过API来进行获取,腾讯云API的签名很复杂,要进行:构造参数字典->对dict排序->拼接sign->对sign编码->拼接完成最终url->完成调用,签名方法查询备份API
  • requirements:cos-python-sdk-v5==1.5.2 requests==2.19.1 tencentcloud-sdk-python==3.0.15 urllib3==1.23
  • 文件目录结构

三、代码

github地址

3.1 配置文件

# auth:kaliarch
# func:将腾讯云cdb备份文件上传至cos制定的bucket内
# python version:python3+
# cos version:v5
# https://console.cloud.tencent.com/cos5/bucket

# 腾讯云公共信息配置段
[common]
# 腾讯云 secretid
secret_id = AKIDMdjegcmoGxxxxxxxxxxxxxxxxxxxx
# 腾讯云 secretkey
secret_key = d5MRL4VoxyvlQvxxxxxxxxxxxxxx

# 腾讯云cos信息配置段
[cosinfo]
# cos所在地域
cos_region = ap-chengdu

# 腾讯云bucket名字(cos v5 bucket名称组成:bucket+appid)
bucket_name = xuel-test-bucket-125396xxxx

# 腾讯云cdb信息配置段
[cdbinfo]
# cdb实例id
cdb_instanceid = cdb-rqaxxxxx

# cdb所在地域
cdb_region = ap-shanghai

# cdb 日志备份类型,coldbackup(冷备),binlog(二进制日志)和slowlog_day(慢查询日志)
cdb_bak_type = coldbackup

# 日志文件信息配置段
[loginfo]
#日志文件目录名称
logdir_name = rds_to_cos
#日志文件名称
logfile_name = rdsbak_to_cos.log

3.2 CDB API核心操作代码

#构建字典
keydict = {
		'Action': self.cdb_action,
		'Timestamp': str(int(time.time())),
		'Nonce': str(int(random.random() * 1000)),
		'Region': self.cdb_region,
		'SecretId': self.secret_id,
		# 'SignatureMethod': SignatureMethod,
		'cdbInstanceId': self.cdb_instanceid,
		'type': self.cdb_bak_type
}
#字典排序
sorted(zip(keydict.keys(), keydict.values()))
#字符串拼接
sign_str_init = ''
for value in sortlist:
		sign_str_init += value[0] + '=' + value[1] + '&'
sign_str = 'GET' + self.cdb_api_url + sign_str_init[:-1]
return sign_str, sign_str_init
#获取签名串并编码
secretkey = self.secret_key
signature = bytes(sign_str, encoding='utf-8')
secretkey = bytes(secretkey, encoding='utf-8')
my_sign = hmac.new(secretkey, signature, hashlib.sha1).digest()
my_sign = base64.b64encode(my_sign)
parse.quote(my_sign)
#获取最终url
result_url = 'https://' + self.cdb_api_url + sign_str + '&Signature=' + result_sign

单独运行此模块可以得到以下信息:

3.3 COS SDK核心操作代码

#根据文件大小自动选择简单上传或分块上传,分块上传具备断点续传功能
with open(filename, 'wb') as localfile:
		localfile.write(requests.request('get', url).content)
# 进行上传
response = cos_client.upload_file(
		Bucket=self.bucket_name,
		LocalFilePath=filename,
		Key=filename,
		PartSize=partsize,
		MAXThread=maxthread
)
# 删除本地文件
if os.path.exists(filename):
		os.remove(filename)

3.4 日志记录核心代码

#创建目录
def create_dir(self):
		_LOGDIR = os.path.join(os.path.dirname(__file__), self.logdir_name)
		_TIME = time.strftime('%Y-%m-%d', time.gmtime()) + '-'
		_LOGNAME = _TIME + self.logfile_name
		LOGFILENAME = os.path.join(_LOGDIR, _LOGNAME)
		if not os.path.exists(_LOGDIR):
				os.mkdir(_LOGDIR)
		return LOGFILENAME
#定义日志文件
def create_logger(self, logfilename):
		logger = logging.getLogger()
		logger.setLevel(logging.INFO)
		handler = logging.FileHandler(logfilename)
		handler.setLevel(logging.INFO)
		formater = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
		handler.setFormatter(formater)
		logger.addHandler(handler)
		return logger

四、测试结果

获取CDB下载链接

完成上传查看COS文件

五、总结

  • 优化:可以后期通过配合定时任务完成自动化任务
  • 扩展:源端:不仅仅局限于CDB备份文件,对于随便下载url,均可以上传到COS内。终端:终端也不仅局限于腾讯云COS,此思路方法也可用于其他云平台如阿里OSS,亚马逊Amazon S3,百度云BOS 等。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python构建私有代理IP库

    至此我们就利用Python构建了一个属于自己的私有代理库,在进行爬去的时候可方便从数据库中获取使用。

    KaliArch
  • Python构建私有代理IP库

    至此我们就利用Python构建了一个属于自己的私有代理库,在进行爬去的时候可方便从数据库中获取使用。

    KaliArch
  • Python实现翻译小工具

    利用Requests模块获取有道词典web页面的post信息,BeautifulSoup来获取需要的内容,通过tkinter模块生成gui界面。

    KaliArch
  • 在iOS上面写一个Blockchain

    rectinajh
  • CTF| 吃个鸡,一起破流量分析题吧!

    流量分析题是CTF杂项类常见的一种考点,考察我们分析网络流量包的能力。一般flag隐藏在某个数据包里面,或者需要从中提取一个文件出来等等,还有wifi的握手包,...

    漏斗社区
  • 格格不入的数字货币:区块链世外桃源的终结者

    区块链为我们打开的是思考新的发展模式和发展方式大门的钥匙,借助区块链技术和区块链思维我们能够找到破解互联网行业痛点和问题的方式和方法。一些在互联网的逻辑和思维下...

    孟永辉
  • 链媒头条I你的区块链钱包安全吗?

    今年6月,韩国最大比特币交易平台、世界五大比特币交易所之一 Bithumb 被盗市值 3000 万美元的 token;

    BMV
  • 区块链技术体系,快捷学习路径?

    这两年,数字货币和区块链很火。年初写过一些区块链与比特币的文章,反响也很不错。不少网友催我继续写区块链,我在这个方向未曾深耕,也不敢造次,结合自己的经验,写写区...

    架构师之路
  • python中类的魔术方法

    在学习class时一定会接触到它的magic methods,比如常用__init__,形式都是前后有双下划线。除了这个必须的,还有其他有用的方法,下面大概的介...

    用户2398817
  • 注意!区块链技术将颠覆这12个行业

    比特币作为去中心化的数字货币主要是因为近来为人所熟知的区块链技术,该技术能够安全且自动地识别并记录大容量的交易数据。 创业者们已经相信利用比特币技术更多的行业...

    点滴科技资讯

扫码关注云+社区

领取腾讯云代金券