操作场景
对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,可通过网络随时存储和查看数据。与高性能应用服务 HAI 之间支持同地域内网连接,实现高速网络上传和下载。
本文中以 COSCMD 工具为例,通过简单的指令对您的文件实现批量上传、下载、删除等操作。
前置条件
操作步骤
安装与配置 COSCMD 工具
1、执行
pip
命令进行安装。pip install coscmd
2、安装完成后,执行以下命令进行更新。
pip install coscmd -U
3、首次使用前必须生成配置文件,命令具体格式如下:
coscmd config [OPTION]...<FILE>...[-h] --help[-a] <SECRET_ID>[-s] <SECRET_KEY>[-t] <TOKEN>[-b] <BucketName-APPID>[-r] <REGION> | [-e] <ENDPOINT>[-m] <MAX_THREAD>[-p] <PART_SIZE>[--do-not-use-ssl][--anonymous]
说明
其中 "[]" 中的字段为选项, "<>" 的字段为需要填写的参数。
参数配置说明如下:
选项 | 参数说明 | 有效值 | 是否必选 |
-a | 字符串 | 是 | |
-s | 字符串 | 是 | |
-t | 临时密钥 token,当使用临时密钥时需要配置,设置 x-cos-security-token 头部。 | 字符串 | 否 |
-b | 字符串 | 是 | |
-r | 字符串 | 是 | |
-e | 设置请求的 ENDPOINT,设置 ENDPOINT 参数后,REGION 参数会失效。当您使用的是默认域名,则此处配置格式为 cos.<region>.myqcloud.com ;当您使用全球加速域名,则配置为 cos.accelerate.myqcloud.com 。 | 字符串 | 否 |
-m | 多线程操作的最大线程数(默认为5,范围为1 - 30)。如果上传文件缓慢,可适当调高该值。线程数取决于机器性能,通常情况下设置为30,即可跑满带宽。例如将并发线程调整为30,执行命令为 coscmd config -m 30 。 | 数字 | 否 |
-p | 分块操作的单块大小(单位MB,默认为1MB,范围为1 - 1000)。如果上传文件缓慢,可适当调高该值。 | 数字 | 否 |
--do-not-use-ssl | 使用 HTTP 协议,而不使用 HTTPS。 | 字符串 | 否 |
--anonymous | 匿名操作(不携带签名)。 | 字符串 | 否 |
一般情况下仅需填写必填值,config 命令的使用示例如下:
coscmd config -a AChT4ThiXAbpBDEFGhT4ThiXAbp**** -s WE54wreefvds3462refgwewe**** -b bucket-1250000000 -r ap-chengdu
从 HAI 上传文件到 COS
1. 上传文件命令格式:
coscmd upload <localpath> <cospath>
2. 上传文件夹命令格式:
coscmd upload -r <localpath> <cospath>
注意
请将 "<>" 中的参数替换为您需要上传的本地文件路径(localpath),以及 COS 上存储的路径(cospath)。
举例:
将 HAI 算力实例根目录的
test.pth
文件上传到 COS 的 model 目录下。coscmd upload test.pth model/
截图如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/34b2fc48cccf4cc05febca1331b74d1d.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/34b2fc48cccf4cc05febca1331b74d1d.png)
从 COS 下载文件到 HAI
1. 下载文件命令格式:
coscmd download <cospath> <localpath>
2. 下载文件夹命令格式:
coscmd download -r <cospath> <localpath>
注意
请将 "<>" 中的参数替换为您需要下载的 COS 上文件的路径(cospath),以及本地存储路径(localpath)。
举例:
下载 COS 上的 test.pth 到 HAI 算力实例根目录,并保持文件名不变。
coscmd download test.pth test.pth
截图如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/3e42d1d21056549708946a6017cda6f8.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/3e42d1d21056549708946a6017cda6f8.png)
在 HAI 中查看 COS 文件
1. 查看文件命令格式:
coscmd list <cospath>
举例:
递归查询该存储桶下 doc/ 前缀下所有的文件列表。
coscmd list model/
截图如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/52e395f6675e44c80d91ddbd9f8efad2.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/52e395f6675e44c80d91ddbd9f8efad2.png)
在 COS 控制台管理文件
![](https://qcloudimg.tencent-cloud.cn/image/document/72d3ae599258bb933dbfbbbdcca72f89.png)
更多 COSCMD 操作