腾讯云对象存储 COS Python SDK 之打开云端文件

twowinter

发布于 2020-04-17 11:22:04

3.4K0

发布于 2020-04-17 11:22:04

文章被收录于专栏：twowintertwowinter

前言

腾讯云对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。

上一篇腾讯云对象存储 COS 服务之 XML Python SDK 实践，介绍了 COS Python SDK 的基础实践。

由于实际在做 Azure 迁移至 COS 的工作，正在调试一些接口。今天重点调试了打开云端文件的方法，做个记录。打开云端文件，简单来说分两步，第一步下载文件，第二步将数据流以文件形式返回。

1 Azure 的方法

Azure 有如下封装：

def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        self.connection.get_blob_to_stream(self.container,name, remote_file)
        remote_file.seek(0)
        return File(remote_file)

它是采用了标准库中 tempfile 模块，申请了一个临时文件存储下载的数据流，封装成了云端文件打开的方法。

2 COS 的方法实现封装

很自然的，仿造 COS 的 DEMO 就做出来了。

def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        remote_file = response['Body'].get_raw_stream()
        remote_file.seek(0)
        return File(remote_file)

不过这里一直报错“io.UnsupportedOperation: seek”，根据搜索引擎的结果，一直在 TemporaryFile 上寻找权限问题。

后来发现其实是 get_raw_stream() 方法的问题，它的返回是个 HTTPResponse object，不是 file object，将 remote_file 的类型给改了。

再来一版：

def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        remote_file.write(response['Body'].get_raw_stream().read())
        remote_file.seek(0)
        return File(remote_file)

3 更好的版本

查看了官方SDK中的 get_stream_to_file ，发现上面这种数据流直接读取写入文件的方法健壮性不够，于是再做调整：

def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        chunk = response['Body'].get_raw_stream().read(1024)
        while chunk:
            remote_file.write(chunk)
            chunk = response['Body'].get_raw_stream().read(1024)
        remote_file.seek(0)
        return File(remote_file)